ESP32-S3 为什么能听懂“你好小智”？一篇讲清离线语音识别原理

当我说出“你好小智”，再说“彩虹模式”时，设备没有联网，却完成了唤醒、识别和灯效切换。背后并不是一个模型包办全部工作，而是 AFE、WakeNet 和 MultiNet 在依次协作。

ESP-SR 是乐鑫面向 ESP32 系列提供的语音处理框架。它把嵌入式语音交互所需的多个环节组织在一起，最常见的三部分就是 AFE、WakeNet 和 MultiNet。

AFE 是 Audio Front End，也就是音频前端。麦克风采集到的原始音频可能混有环境噪声、音量波动和播放回声，不能简单地把每一帧数据直接交给命令识别。

ESP-SR 的 AFE 可以组合 VAD、降噪、自动增益、回声消除和波束形成等能力，具体启用哪些功能取决于硬件通道和工程配置。

在我的单麦克风项目里，INMP441 通过 I2S 送入音频，AFE 通道格式使用“M”。M 表示麦克风通道；如果设备还采集扬声器播放参考信号，则可能使用 R 通道进行回声消除。

AFE 的主要任务是“准备音频”。它不是最终判断“彩虹模式”还是“关闭电灯”的命令分类器。

WakeNet 是唤醒词引擎。设备待机时，它持续检查音频中有没有目标唤醒词，例如“你好小智”。检测成功后，程序才进入命令识别状态。

在 ESP-SR 的常见用法中，WakeNet 已经集成在 AFE 内部。程序向 AFE 持续喂入音频，再从 fetch() 结果中读取唤醒状态。

所以，流程图上可以把 AFE 和 WakeNet 分开理解，但写代码时不一定需要手动搭建两条完全独立的音频管线。WakeNet 只负责 “有没有叫我”，并不会理解后面的任意一句自然语言。

MultiNet 是离线命令词识别模型。唤醒成功后，处理过的单声道音频继续送入 MultiNet，它会把“打开电灯”“调亮一点”“彗星模式”等短句匹配到预设命令，并返回 command ID。

官方文档显示，ESP32-S3 上的 MultiNet 支持中文和英文命令词，最多可配置 200 条命令，也支持运行时添加、删除和修改。不过，实际项目没有必要一开始就塞满命令，先把高频、差异明显的短句跑稳定更重要。

MultiNet 不是通用语音转文字，也不是大语言模型。它擅长的是在有限设备资源上，快速识别一组明确的离线控制指令。

LOCAL SPEECH PIPELINE

INMP441 采集声音
↓
I2S 读取与 PCM 转换
↓
AFE 处理音频并输出状态
↓
WakeNet 检测“你好小智”
↓
MultiNet 返回 command ID
↓
WS2812B 执行对应灯效

当前 ESP-SR 接口要求送给识别链路的音频采用 16 kHz、16 位有符号数据。AFE 的 fetch 端通常输出处理后的单声道音频，正好可以继续交给 MultiNet。

所以，麦克风能输出数据，只能说明第一步采音成功；它并不能证明 AFE、WakeNet 和 MultiNet 都已经正常工作。

降低常开开销：待机时主要关注唤醒词，不必一直识别全部命令。

减少误触发：只有先通过唤醒词，后面的声音才进入命令判断。

方便定位问题：音频前端、唤醒模型和命令模型可以分层检查。

这也是嵌入式语音和手机语音助手的一个明显区别：它不追求理解无限表达，而是把有限资源集中到 明确、稳定、低延迟的交互上。

01　采音层：I2S 数据是否随说话变化，有没有全零或持续削顶。

02　AFE 层：feed、fetch、通道格式、采样率和帧长度是否正确。

03　WakeNet 层：是否返回唤醒状态，唤醒模型是否加载。

04　MultiNet 层：是否进入命令窗口，有没有返回 command ID。

05　应用层：command ID 与灯效、继电器或电机动作的映射是否正确。

我遇到“说了你好小智，串口没有反应”时，就是先加入峰值、平均值和非零采样统计，证明 INMP441 确实有声音输入，再继续检查识别链路。分层排查比盲目换线快得多。

CONCLUSION

把三个名字，记成三句话。

AFE：把声音整理好。

WakeNet：判断现在要不要开始听命令。

MultiNet：判断听到的是哪一条预设命令。

ESP-SR 把这些能力组织成一套能在 ESP32 上运行的本地语音方案。当整条链路跑通后，灯带只是输出设备之一；把最后一步换成舵机、继电器或电机，就能继续扩展更多离线语音项目。

技术说明：本文根据乐鑫 ESP-SR 官方文档及项目实践整理，具体模型和接口支持范围以所用 ESP-SR 版本为准。