AI语音唤醒方案的设计与实现

2024-03-22 08:16| 来源: 网络整理| 查看: 265

现在无论是智能音箱还是手机或者平板，都可以在不管cpu是否休眠的时候喊一声“小爱同学”或者“小布小布”就可以唤醒了。那么哪些实现是比较好的呢，或者存在哪些未知的坑呢？今年从过完年后就一直在做语音唤醒这块，一款好的，有价值的项目，会有很多的问题需要去解决。

1.前言

这里先抛出几个问题。

1.语音唤醒的实现放在android哪一层处理会比较好？

肯定是放在系统的framework层，应用存在各种crash以及被强杀等，即使是系统应用，其存活和优越性完全不能和系统服务相比。放在系统中的缺点在于更新不方便，包括唤醒语音训练库等，不能像应用可以可以自升级，系统升级麻烦，测试周期大。

2.需不需要回声消除去处理音频？

这个也是需要的，AEC可以比较大的降低误唤醒率影响。这里我吐槽下我的小米mix2s手机，这个误唤醒率实在太高了。看视频的时候经常误唤醒，及其烦人，所以我把整个语音唤醒都关了。我们是把AEC放在hal层下，通过AudioRecord提供到上层实现

3.为了降低误唤醒，还有哪些比较好的办法？

可以对一级唤醒后的唤醒词做二级校验，降低误唤醒率。

4.ASR放在哪一层处理？

这个放在应用层做识别处理即可

5.framework层如何拉起应用？

唤醒后，拉起应用应该快速，如果等了2，3秒，屏幕才亮起来，这个体验就会很差，所以不建议使用广播的方式，因为framework层通过广播通知应用起来的话，在连接wifi或者开机时，系统会收到大量的广播事件，android会一个一个处理广播事件，这里会导致应用起来的比较慢。所以可以选择直接拉起应用的activity或者service来实现拉起应用。

Slog.d(TAG, "notifyWakeup"); Intent intent = new Intent(); ... ... intent.putExtra("topPackage", getTopPackage()); intent.putExtra("topActivity", getTopActivity()); mContext.startService(intent); 2.唤醒方案实现 2.1.低功耗语音唤醒方案实现

所谓的低功耗语音唤醒方案无非就是加语音唤醒芯片，确保在cpu休眠的时候它还在继续工作，当用户说唤醒词时，会将唤醒事件通知到framework层，从而唤醒cpu，触发整个唤醒流程。

但是低功耗唤醒方案存在的问题是，如果不加以对唤醒词的数据校验的话误唤醒率相对较高。这样就会让用户很难接受。所以需要加二级唤醒校验，譬如如果使用dspg的话，会从soundtrigger获取到唤醒词数据，再将唤醒词数据送给二级语音模型训练库，从而降低唤醒率。

private SoundTriggerDetector.Callback mSoundTriggerDetectorCallback = new SoundTriggerDetector.Callback() { @Override public void onAvailabilityChanged(int status) { Slog.d(TAG, "SoundTriggerDetectorCallback onAvailabilityChanged status=" + status); } @Override public void onDetected(SoundTriggerDetector.EventPayload eventPayload) { Slog.d(TAG, "SoundTriggerDetectorCallback onDetected"); if (mAuthDUI.isAvailable() && startWakeupApp()) { byte[] triggeraudio = eventPayload.getTriggerAudio(); if (triggeraudio != null) { mSingleEngine.feed(triggeraudio, triggeraudio.length); Slog.d(TAG, "feed trigger to single engine end"); } } } @Override public void onError() { Slog.d(TAG, "SoundTriggerDetectorCallback onError"); } @Override public void onRecognitionPaused() { Slog.d(TAG, "SoundTriggerDetectorCallback onRecognitionPaused"); } @Override public void onRecognitionResumed() { Slog.d(TAG, "SoundTriggerDetectorCallback onRecognitionResumed"); } }; 2.2.二级唤醒实现

二级唤醒的实现其实就是在cpu没有休眠，或者没有灭屏的时候通过audiorecord获取音频数据送给语音唤醒模型库来实现。如果是在cpu没有休眠时，走二级唤醒，可以让内核加个事件上报机制，告诉framework层系统没有休眠，继续二级唤醒，这里需要说下为什么要走二级唤醒？因为二级唤醒会有AEC，会降低误唤醒率。

二级唤醒的实现其实也就是在framework层开一个录音机，在系统服务一起来的时候就打开录音机，然后只要没有切换到cpu休眠状态时，都走二级唤醒，录音机不断地将唤醒数据喂给语音唤醒训练库。当检测到有唤醒事件时，可以选择拉起service的方式拉起应用。

这里在预言阶段就测试了，在cpu没有休眠的时候存在一个audiorecord的话，对功耗影响并不会很多，完全可以接受。这里需要修改audio这块，让android支持多录音，不然上层的app无法正常录音。

private void startSingleRecord() { startSingleRecord(MediaRecorder.AudioSource.VOICE_RECOGNITION, AudioFormat.CHANNEL_IN_MONO); }

需要注意的是多验证audiorecord，防止存在创建了多个audiorecord但是没有销毁导致功耗降不下去的问题。

我一般都是直接dumpsys audio_flinger来查看当前的录音数量和pid。

adb shell dumpsys media.audio_flinger 2.3.状态切换中导致的唤不醒

在一级切换二级，或者二级切换一级过程中，会存在你喊“小布小布”时，第一个小布在二级中，第二个小布在一级中，导致一级和二级都没有唤醒。所以如果在亮灭屏时判断的时候，可以不要去监听亮灭屏广播去实现，直接在Notifier中去监听亮灭屏，去避免切换的这200多毫秒。

private void handleEarlyInteractiveChange() { synchronized (mLock) { if (mInteractive) { // Waking up... mHandler.post(new Runnable() { @Override public void run() { EventLog.writeEvent(EventLogTags.POWER_SCREEN_STATE, 1, 0, 0, 0); mPolicy.startedWakingUp(); if (mAIManagerInternal != null) { mAIManagerInternal.startedWakingUp(); } else { Slog.d(TAG, "AIManagerInternal is null"); } } }); // Send interactive broadcast. mPendingInteractiveState = INTERACTIVE_STATE_AWAKE; mPendingWakeUpBroadcast = true; updatePendingBroadcastLocked(); } else { // Going to sleep... // Tell the policy that we started going to sleep. final int why = translateOffReason(mInteractiveChangeReason); mHandler.post(new Runnable() { @Override public void run() { mPolicy.startedGoingToSleep(why); if (mAIManagerInternal != null) { mAIManagerInternal.startedGoingToSleep(why); } else { Slog.d(TAG, "AIManagerInternal is null"); } } }); } } }

在自定义系统服务中去实现这俩个函数。

final class LocalService extends AIManagerInternal { @Override public void startedGoingToSleep(int why) { synchronized (AIManagerService.this) { AIManagerService.this.startedGoingToSleep(why); } } @Override public void startedWakingUp() { synchronized (AIManagerService.this) { AIManagerService.this.startedWakingUp(); } } } 3.如何避免丢音

当你通过语音去唤醒时，如果你快速的说，譬如“小布小布，打开设置”。不管在亮屏还是灭屏的时候可能都会存在丢音，最后送给到上层去做识别的音频数据只有“设置”，那么如何避免丢音呢。做缓存，无论是一级唤醒还是二级唤醒，framework层都应该做音频数据的缓存，缓存足够的数据，不管应用什么时候来取，都应该缓存足量的数据，确保避免丢音问题的存在。

private ArrayBlockingQueue mBlockingQueue; ... ... mBlockingQueue = new ArrayBlockingQueue(1024);

对于dspg，则应该做oneshot来缓存唤醒点前面1-2秒的音频数据，确保在从dspg唤醒后，开一个audiorecord拿到的音频数据是缓存了唤醒点前1-2秒的。

4.测试指标

开发完毕后需要指导测试进行测试方案的制定。同时我们需要做好测试和数据处理，例如对dspg唤醒的音频数据保存以及亮屏唤醒时的唤醒词数据保存等，便于问题分析。

通过上面几种场景我们可以知道关键的几个指标有哪些？

误唤醒唤醒率自唤醒唤醒时间

上面这几个又包含在不同场景下的测试，譬如家庭环境下的唤醒，公共场所下的唤醒等，唤醒时间和算法耗时以及芯片cpu的耗时都存在一定关系。

5.其他点

整个语音唤醒中还有很多点和坑。

在系统中加入三方公司的so库，由于是黑盒的，对稳定性等可能存在一定影响。以上是目前想到的几点。

下面是项目中用到的一些地方，方便借鉴。

1.判断系统有无应用在录音,譬如在灭屏但是有应用在录音时，这个时候可以不用切成一级唤醒，为了充分利用aec，可以走二级唤醒，如何去判断应用录音以及录音结束后收到通知呢？

判断系统中有无应用录音

public boolean isAppRecording() { List configs = mAudioManager.getActiveRecordingConfigurations(); Slog.d(TAG, "recording configs.size=" + configs.size()); if (configs.size() > 1) { Slog.d(TAG, "has other app recording"); return true; } Slog.d(TAG, "no app is recording"); return false; }

注册监听，在录音状态改变是收到回调通知

AudioManager.AudioRecordingCallback mAudioRecordingCallback = new AudioManager.AudioRecordingCallback() { @Override public void onRecordingConfigChanged(List configs) { super.onRecordingConfigChanged(configs); Slog.d(TAG, "onRecordingConfigChanged configs.size:" + configs.size()); if (configs.size() == 1 && !isScreenOn()) { Slog.d(TAG, "onRecordingConfigChanged switch to dspg wakeup"); //stop software wakeup,start dspg wakeup mWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEOFF_MIC); mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEOFF_MIC); } } };

判断系统中有无应用在放音

public boolean isAudioPlayback() { List configs = mAudioManager.getActivePlaybackConfigurations(); for (AudioPlaybackConfiguration config : configs) { if (config.isActive()) { Slog.d(TAG, "has other app audioplaing,pid is:" + config.getClientPid()); return true; } } Slog.d(TAG, "no app audio is playing"); return false; }

应用放音结束时收到系统放音变化的注册回调

AudioManager.AudioPlaybackCallback mAudioPlaybackCallback = new AudioManager.AudioPlaybackCallback() { @Override public void onPlaybackConfigChanged(List configs) { super.onPlaybackConfigChanged(configs); { boolean active = false; Slog.d(TAG, "AudioPlaybackConfiguration.size" + configs.size()); for (AudioPlaybackConfiguration config : configs) { if (config.isActive()) { active = true; } } Slog.d(TAG, "active:" + active); if (!active && !isScreenOn()) { Slog.d(TAG, "onPlaybackConfigChanged switch to dspg wakeup"); //stop aispeech wakeup,start dspg wakeup mWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEOFF_MIC); mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEOFF_MIC); } if (active && !isScreenOn()) { Slog.d(TAG, "onPlaybackConfigChanged switch to aispeech wakeup"); //stop dspg wakeup and start aispeech wakeup mWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEON_MIC); mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEON_MIC); } } } };

【本文地址】

公司简介

联系我们