14k star！Daily 开源 Pipecat，把语音 Agent 延迟压进 800ms

打个比方。以前做语音 AI，你得自己接 Deepgram 做识别、接 OpenAI 做对话、接 ElevenLabs 做合成，再吭哧吭哧搞 WebRTC 传声音。每个环节单独一套，拼起来延迟高、打断处理乱、上线维护累。

Pipecat 干的事，就是把这些全部编排成一条流水线，用一套 API 搞定”听→想→说→传”的全链路。

它的核心就一个词：解耦。把 STT（语音识别）、LLM（大模型）、TTS（语音合成）和传输层彻底拆开。换识别引擎？换一行配置。换语音音色？换一个服务。像搭积木。

数据在流水线里以帧（Frame）为单位，在处理器之间一帧一帧传递。VAD 检测你有没有说话、STT 转文字、LLM 生成回答、TTS 念出来——每步独立，谁卡了都不拖累整条线。每个 Pipeline 本身就是一个 Agent，多个 Agent 通过交接 / 扇出 / 边车或共享消息总线协调，本地或跨机器分布式跑。

很多人以为语音 Agent 难在”说出来”，其实难在像人一样随时打断。真人对话的往返延迟大概 200–300ms，多等一秒就出戏。

Pipecat 基于 WebRTC 和 Daily 的全球边缘网络，官方实测在优化配置下，语音到语音的完整往返能压到 500–800ms。你说话、它听懂、它组织语言、它念出来，全程不到一秒。

对比一下：很多”语音助手”是你说完等 3 秒再答，那是假对话；Pipecat 玩的是真·实时。

它把”打断”当头等公民处理——你中途插话，它能立刻停掉正在念的，转头听你说。这种 turn-taking 和 interruption handling 是分水岭，框架层就兜住了，再加一层错误恢复，网络抖一下也不会整条线崩。

这是 Pipecat 最劝退竞争对手的一点：它几乎能接一切。从识别到推理到合成到传输，主流厂商基本全覆盖。

STT 支持 Deepgram、AssemblyAI、OpenAI Whisper、Groq Whisper 等二三十家；LLM 支持 OpenAI、Anthropic、Gemini、DeepSeek、Qwen、Groq、Ollama 等随便挑。

TTS 支持 ElevenLabs、Cartesia、OpenAI、Azure、MiniMax 等；传输层支持 Daily、LiveKit、Vonage 的 WebRTC，FastAPI WebSocket，甚至电话（Twilio、Telnyx、WhatsApp）。

加起来大概 90 个集成。你不用担心被某个厂商绑架——今天用 Deepgram，明天换 Groq，框架不动，换配置就行。

更狠的是，它原生支持 OpenAI Realtime API 和 Gemini Multimodal Live 这种端到端原生语音方案。不用 STT→LLM→TTS 三段拼，直接模型一口气流式处理语音，延迟还能再降一截。

提到开源语音 Agent 框架，绕不开 LiveKit Agents。两者是目前唯二拿得出手的开源方案，怎么选看这张表。

一句话：如果你的团队 Python 为主、不想被传输层绑死，Pipecat 几乎无脑选；如果你已经在用 LiveKit 的媒体服务器，那 LiveKit Agents 更顺手。

别以为这只是极客玩具。Daily 创始人 Kramer 说，Pipecat 的客户里站着 AWS、英伟达、Anthropic，外加几千家初创。Discord 社区快 7000 人，200+ 贡献者，盘子已经不小了。

还有个真实案例挺有意思：Gradient Bang，一个实时多人对话游戏，每秒要做几百次 LLM 推理。它本来是 Pipecat 子代理（Subagents）的试验田——每个 Agent 跑自己的流水线，通过共享消息总线协调，本地或跨机器都行。

商业模式上，框架本身 BSD-2-Clause免费自托管。Daily 赚的是 Pipecat Cloud 托管费，活跃实例 $0.01/分钟。你前期零成本试错，跑通了再考虑上云，挺良心的。

说点实在的。Pipecat 不是银弹，它 Python-only，传输和模型得自己拼、自己运维，DIY 属性拉满；生态虽大，小厂商集成成熟度参差，真上生产得自己压测。

但如果你要做语音助手、AI 伴侣、智能客服，或者多 Agent 协作系统，它现在基本是开源里最稳的那条路。

上手也简单：装个 uv，敲 pipecat init，CLI 帮你把骨架搭好。剩下的就是写你的 Agent 逻辑——框架把底层实时音视频、打断、错误处理全包了。你甚至能用 Pipecat Flows 做结构化流程控制，把复杂对话画成状态机。

我是挺看好这条赛道的。当文本对话的红利见顶，能”听”会”说”的 AI 才是下一个入口。而 Pipecat 这种把复杂留给自己、把简单交给开发者的框架，大概率会吃到这波红利。

你也在折腾语音 Agent 吗？用的哪套方案，踩过什么坑？评论区聊聊，我挨个看。