用户对语音 AI 的容忍极限是 800ms。超过这个数，体验就崩了。
Voice Agent 是让 AI 用语音实时对话的工程体系：从音频采集、语音识别、LLM 推理到语音合成，全链路必须在亚秒内完成。本文拆解 OpenAI Realtime API、LiveKit、Pipecat 三大方案的架构与工程细节。
项目地址：https://github.com/pipecat-ai/pipecat
* *
为什么语音 Agent 这么难
文字聊天，用户等 3 秒不会抱怨。语音对话，超过 1 秒的沉默就让人觉得"它死了"。
人类正常对话的轮转间隔是 200-500ms。你的语音 Agent 如果响应超过 800ms，用户就会开始重复、打断、挂断。
这意味着整条链路的延迟预算极其紧张：
| 环节 | 延迟预算 | 传统方案耗时 |
| — | — | — |
| 音频采集 + VAD | 50ms | 100-200ms |
| 语音识别（STT） | 150ms | 500-2000ms |
| LLM 推理 | 300ms | 1000-5000ms |
| 语音合成（TTS） | 100ms | 300-1000ms |
| 音频播放缓冲 | 50ms | 100-200ms |
| 总计 | < 800ms | 2000-10000ms |
传统级联方案（STT → LLM → TTS）根本做不到亚秒级。 这就是为什么 2025-2026 年出现了一批全新的架构方案。
* *
三大技术路线
路线一：端到端语音模型（OpenAI Realtime API）
OpenAI 在 2024 年底发布的 Realtime API 走了一条激进的路：跳过 STT 和 TTS，模型直接处理音频 Token。
输入是原始音频流，输出也是原始音频流。没有中间的文本转换步骤。
“
OpenAI Realtime API 基本用法
import openai
import asyncio
client = openai.AsyncOpenAI()
async def voice_agent():
async with client.beta.realtime.connect(
model="gpt-4o-realtime-preview"
) as rt:
配置 Agent 行为
await rt.session.update(
session={
"modalities": ["text", "audio"],
"instructions": "你是一个友好的客服助手，语速适中。",
"voice": "alloy",
"inputaudiotranscription": {"model": "whisper-1"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silencedurationms": 500,
},
}
)
流式接收音频响应
async for event in rt:
if event.type == "response.audio.delta":
play_audio(event.delta) # 直接播放
`
延迟：首字节 < 300ms。 因为省掉了 STT/TTS 两个环节，端到端延迟直接砍半。
代价：模型选择少（目前只有 OpenAI 自家）、成本较高、不能灵活替换 LLM。
路线二：媒体服务器 + 模块化管道（LiveKit）
LiveKit 是 WebRTC 基础设施公司，它的 Agents 框架把语音 Agent 拆成可插拔模块：
STT 插件：Deepgram、Whisper、Azure Speech
LLM 插件：OpenAI、Anthropic、本地模型
TTS 插件：ElevenLabs、Azure、Cartesia
`
LiveKit Agents 框架
from livekit.agents import Agent, AgentSession
from livekit.plugins import openai, deepgram, elevenlabs
class MyVoiceAgent(Agent):
def _init_(self):
super()._init_(
stt=deepgram.STT(model="nova-2"),
llm=openai.LLM(model="gpt-4o"),
tts=elevenlabs.TTS(voice="Rachel"),
)
async def on_enter(self, session: AgentSession):
Agent 接入时的欢迎语
session.say("你好，我是智能客服，有什么可以帮您？")
`
优势：每个环节可以独立优化和替换。STT 用最快的 Deepgram（流式识别延迟 < 200ms），TTS 用支持流式的 ElevenLabs。
关键优化：流式管道。STT 出第一个词就开始送 LLM，LLM 出第一句话就开始送 TTS。不等全部完成，边生成边播放。
路线三：轻量级 Python 管道（Pipecat）
Pipecat 是 Daily（WebRTC 公司）开源的语音 Agent 框架。设计哲学：一个 Python 文件搞定整个语音管道。
`
import asyncio
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.task import PipelineTask
from pipecat.services.openai import OpenAILLMService, OpenAITTSService
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.transports.daily_transport import DailyTransport
async def main():
transport = DailyTransport(
room_url="https://yourapp.daily.co/room",
token="your-token",
bot_name="AI Assistant",
)
stt = DeepgramSTTService(api_key="…", model="nova-2")
llm = OpenAILLMService(api_key="…", model="gpt-4o")
tts = OpenAITTSService(api_key="…", voice="alloy")
管道：音频输入 → STT → LLM → TTS → 音频输出
pipeline = Pipeline([
transport.input(),
stt,
llm,
tts,
transport.output(),
])
task = PipelineTask(pipeline)
await asyncio.gather(
transport.run(),
task.run(),
)
asyncio.run(main())
“
GitHub 7,000+ Stars，核心卖点：
管道式架构，每个 Processor 独立
原生支持打断检测（用户说话时立即停止 TTS）
内置 VAD（Voice Activity Detection）
支持电话（Twilio/Sipgate）、WebRTC、WebSocket 多种传输
* *
工程硬核：延迟优化的 6 个关键
流式处理是生命线
绝对不能等一个环节完全结束再开始下一个。
STT：用流式识别，每 100ms 输出一次中间结果
LLM：用 Streaming API，Token 级输出
TTS：用流式合成，第一句话出来就开始播放
三级流式叠加，端到端延迟从 5s 压到 800ms。
VAD 与打断处理
用户说到一半停顿了——是思考还是说完了？
Server-side VAD 通过检测静音时长判断：
静音 > 500ms → 用户说完了，开始处理
静音 < 500ms → 还在说，继续等
用户突然开口 → 立即打断当前 TTS 播放
首字节优化
用户感知的不是"总延迟"，是"它什么时候开始出声"。
技巧：
LLM 生成第一个完整句子就立即送 TTS（不等全部生成完）
TTS 合成第一段音频就立即播放（不等全部合成完）
预缓冲：Agent 接入时预生成欢迎语，零延迟开口
音频编码选择
| 编码 | 延迟 | 质量 | 适用场景 |
| — | — | — | — |
| PCM (raw) | 最低 | 最好 | 本地/低延迟场景 |
| Opus | 低 | 好 | WebRTC 传输 |
| MP3 | 高 | 好 | 不推荐实时场景 |
| G.711 | 低 | 一般 | 电话网络 |
实时场景永远选 PCM 或 Opus。 MP3 的编码延迟会吃掉你 100-200ms 预算。
* *
生产环境：不只是延迟
并发与资源
一个语音 Agent 实例 = 一个 WebSocket 连接 + STT 流 + LLM 流 + TTS 流。
100 个并发通话 = 100 个并行管道。LiveKit 用分布式 Worker 解决；Pipecat 用 asyncio 协程 + 多进程。
容错
语音通话不能"重试"——用户等不了。关键策略：
STT 失败 → 降级到本地 Whisper
LLM 超时 → 播放"稍等"填充音频
TTS 异常 → 切换到备用 TTS 服务
网络抖动 → Opus FEC（前向纠错）
成本
一个 5 分钟语音通话的成本：
STT（Deepgram）：$0.02
LLM（GPT-4o，约 2000 Token）：$0.01
TTS（ElevenLabs）：$0.03
传输（LiveKit Cloud）：$0.01
总计：约 $0.07/通话
对比人工客服 $3-5/通话，成本降低 50-70 倍。
* *
选型建议
| 场景 | 推荐方案 | 理由 |
| — | — | — |
| 快速原型 / Demo | OpenAI Realtime API | 零基础设施，一个 API 搞定 |
| 生产级客服系统 | LiveKit Agents | 分布式、可插拔、企业级 SLA |
| 自定义管道 / 研究 | Pipecat | 轻量、灵活、完全可控 |
| 电话场景 | Pipecat + Twilio | 原生电话传输支持 |
| 多语言 / 本地化 | LiveKit + 本地 STT/TTS | 插件生态丰富 |
* *
写在最后
语音 Agent 的难度不在 AI——LLM 已经够聪明了。
难度在工程。 在 800ms 的预算里，把音频采集、语音识别、语言理解、内容生成、语音合成五个环节串成一条流水线，还要处理打断、并发、容错——这是纯粹的系统工程挑战。
2026 年，语音 Agent 正在从"Demo 级"走向"生产级"。OpenAI Realtime API 把门槛降到了最低，LiveKit 和 Pipecat 给了工程师完全的控制权。
下一个被 AI 颠覆的交互界面，不是屏幕——是声音。
你试过用语音 Agent 做客服或助手吗？体验如何？评论区聊聊。
