-
低延时：对话无卡顿感；流式管线 + 并行执行 + 零拷贝通道，端到端响应可达百毫秒级。 -
可打断：内置 VAD、轮次检测与 Interrupt 插件，用户可随时中止 TTS/生成并切换意图。 -
可扩展：模块化/热插拔架构，随时增减 STT、TTS、LLM、工具/RAG 等能力。 -
跨语言：模块可按性能与并发需求采用不同语言实现；框架提供统一的数据协议与接口契约，确保无缝协作。 -
跨平台与边云协同：覆盖桌面端、移动端与嵌入式；本地与云端灵活组合部署，支持弹性伸缩与水平扩展。
-
语音助手与智能家居：自然对话、即时打断、低延时反馈。 -
同声传译与实时字幕：持续音频流与增量输出保证“听得见、看得快”。 -
虚拟形象 / VTuber（Live2D）：通过 Live2D 模型 + 运动追踪，在直播等各种场景中投射你的虚拟形象。 -
嵌入式/边缘场景（例如机器人）：部分功能下沉本地设备，云端负责复杂推理与协同调度。
想获得更全面的 AI 工程化知识？扫描下方二维码加入 赋范空间 免费领取：Agent + RAG + MCP + 数据分析等成体系的教程。实时语音交互 Agent 也即将上架。
-
RTC（实时通信）：负责音视频数据的采集、传输与回放，采用令牌鉴权与加密传输。 -
STT（语音转文字）：将用户语音流实时转录为文本。 -
LLM/工具/RAG：根据上下文与知识检索生成响应或执行工具调用。 -
TTS（文字转语音）：将文本响应转为自然语音，支持多语种与风格。 -
VAD/Turn-Taking/Interrupt：对话节律与打断识别，驱动“能听、会停、立即应”的体验。
-
流式与增量处理：用户开口即识别、边识别边生成；无需等整句完成再响应。 -
并行执行：多线程/多进程解耦 STT、LLM、TTS、RTC 等关键路径，避免单点阻塞。 -
零拷贝与内存通道：关键数据在同进程间直接传递，减少序列化与内存拷贝开销。 -
优化关键链路：语音输入→转录→LLM 增量生成→TTS 合成流水线并行推进。 -
稳定的 RTC 网络：跨地域低抖动传输，令牌鉴权保障安全，端到端时延更可控。 -
并发管线：单进程多 Agent、跨进程/容器部署，弹性扩容应对高并发场景。
-
VAD（语音活动检测）：实时判定说话起止，减少空白等待与误触发。 -
Turn-Taking（轮次检测）：识别插话/换手时机，让对话更符合人类节律。 -
Interrupt 插件：用户开口时立即打断当前 TTS 或回复生成，切换到新意图或话题。 -
TTS 即时中止：正在播报的语音可被安全停止，保障响应的“即时与相关”。 -
对话状态管理：在打断与重入场景中保持上下文一致，避免状态紊乱与重复回复。
-
独立扩展：STT、TTS、LLM、工具、日志/监控、计算机视觉等都以插件提供。 -
热插拔/热替换：不中断服务即可升级或替换模块（如将云端 STT 替换为本地模型）。 -
统一接口与数据约定：跨语言模块使用一致的数据类型与接口契约，降低集成复杂度。 -
多模态协同：音频、视频、图像与传感数据并行处理，一对多/多对多拓扑灵活编排。 -
可视化 Graph Designer：拖拽式连线搭建管线，降低复杂系统的上手难度。
-
跨语言：模块可按性能与并发需求采用不同语言实现；框架提供统一的数据协议，确保无缝协作。例如：用 C/C++ 实现高性能音频处理，用 Python 实现 AI 服务，用 Golang 编排高并发业务。 -
跨平台：Windows、macOS、Linux、移动端及嵌入式设备（如 ESP32）均可落地。 -
边云协同：将隐私相关的采集/初步识别放在本地，将复杂推理放在云端；两侧通过 TEN 管线无缝衔接。
git clone https://github.com/TEN-framework/ten-framework.git
cd ten-frameworkcd ai_agents
cp ./.env.example ./.env
ElevenLabs 控制台获取 API Key：https://elevenlabs.io/app/developers/api-keys
Agora 控制台获取 App ID 和 App Certificate：https://console.agora.io/project-management
AGORA_APP_ID=
AGORA_APP_CERTIFICATE=
# 如果你运行的是默认语音助手示例
# Deepgram（语音转写必需）
DEEPGRAM_API_KEY=your_deepgram_api_key_here
# OpenAI（语言模型必需）
OPENAI_API_KEY=your_openai_api_key_here
OPENAI_MODEL=gpt-4o
# ElevenLabs（文本转语音必需）
ELEVENLABS_TTS_KEY=your_elevenlabs_api_key_heredocker compose up -d
docker exec -it ten_agent_dev bashcd agents/examples/voice-assistant-realtime
task install
task run