微软开源智能呼叫中心，完全替代人工客服

项目简介

基于 Azure 和 OpenAI GPT 的 AI 驱动的呼叫中心解决方案。

通过一个 API 调用，让 AI 座席拨打电话。或者，直接从配置的电话号码呼叫机器人！

保险、IT 支持、客户服务等等。该机器人可以在几小时（真的）内进行定制以满足您的需求。

# 要求机器人呼叫一个电话号码
data='{
  "bot_company": "Contoso",
  "bot_name": "Amélie",
  "phone_number": "+11234567890",
  "task": "帮助客户解决数字工作场所问题。助手在 IT 支持部门工作。目标是帮助客户解决问题并在索赔中收集信息。",
  "Agent_phone_number": "+33612345678",
  "claim": [
    {
      "name": "hardware_info",
      "type": "text"
    },
    {
      "name": "first_seen",
      "type": "datetime"
    },
    {
      "name": "building_location",
      "type": "text"
    }
  ]
}'

curl 
  --header 'Content-Type: application/json' 
  --request POST 
  --url https://xxx/call 
  --data $data

功能特性

• 增强的沟通和用户体验：集成呼入和呼出电话，配备专用电话号码，支持多种语言和语音语调，并允许用户通过短信提供或接收信息。对话实时流式传输以避免延迟，可以在断开连接后恢复，并存储以供将来参考。这确保了改进的客户体验，实现 24/7 全天候沟通和处理中低复杂度的呼叫，所有操作都以更易访问和用户友好的方式进行。

• 高级智能和数据管理：利用 gpt-4.1 和 gpt-4.1-nano（以更高性能和 10-15 倍的成本溢价而闻名）来实现细致的理解。它可以讨论私密和敏感数据，包括客户特定信息，同时遵循检索增强生成 (RAG) 最佳实践，以确保安全合规地处理内部文档。该系统理解特定领域术语，遵循结构化的索赔模式，生成自动待办事项列表，过滤不当内容，并检测越狱尝试。历史对话和过去的互动也可以用来微调 LLM，随着时间的推移提高准确性和个性化。Redis 缓存进一步提高了效率。

• 定制化、监督和可扩展性：提供可定制的提示，用于受控实验的功能标志，人工座席回退，以及用于质量保证的呼叫录音。集成 Application Insights 进行监控和跟踪，提供可公开访问的索赔数据，并计划未来的增强功能，如自动回呼和类似 IVR 的工作流。它还支持创建品牌特定的自定义语音，使助手的声音能够反映公司身份并提高品牌一致性。

• 云原生部署和资源管理：在 Azure 上部署，采用容器化、无服务器架构，维护成本低且可弹性扩展。这种方法根据使用情况优化成本，确保长期的灵活性和可负担性。与 Azure 通信服务、认知服务和 OpenAI 资源的无缝集成为快速迭代、持续改进和适应呼叫中心可变工作负载提供了一个安全的环境。

部署

先决条件

推荐使用 GitHub Codespaces 快速入门。 环境将自动设置所有必需的工具。

在 macOS 中，使用 Homebrew，只需输入 make brew。

对于其他系统，请确保已安装以下内容：

• Azure CLI
• Twilio CLI (可选)
• yq
• Bash 兼容的 shell，例如 bash 或 zsh
• Make，apt install make (Ubuntu), yum install make (CentOS), brew install make (macOS)

然后，需要 Azure 资源：

1. 创建新的资源组

• 建议使用小写字母，除破折号外无特殊字符（例如 ccai-customer-a）

2. 创建通信服务资源

• 名称与资源组相同
• 启用系统托管标识

3. 购买电话号码

• 从通信服务资源购买
• 允许入站和出站通信
• 启用语音（必需）和短信（可选）功能

现在先决条件（本地 + Azure）已配置完成，可以进行部署了。

远程（在 Azure 上）

GitHub Actions 上提供了预构建的容器镜像，将用于在 Azure 上部署解决方案：

• 来自分支的最新版本：ghcr.io/clemlesne/call-center-ai:main
• 特定标签：ghcr.io/clemlesne/call-center-ai:0.1.0 (推荐)

1. 创建轻量配置文件

根据 config-remote-example.yaml 中的示例填写模板。该文件应放置在项目根目录下，名为 config.yaml。它将由安装脚本（包括 Makefile 和 Bicep）用于配置 Azure 资源。

2. 连接到您的 Azure 环境

az login

3. 运行部署自动化

[!TIP] 在 image_version 参数下指定发布版本（默认为 main）。例如，image_version=16.0.0 或 image_version=sha-7ca2c0c。这将确保未来任何项目的破坏性更改不会影响您的部署。

make deploy name=my-rg-name

等待部署完成。

4. 获取日志

make logs name=my-rg-name

本地（在您的机器上）

1. 先决条件

如果您在第一个安装部分跳过了 make brew 命令，请确保已安装以下内容：

• Rust
• uv

最后，运行 make install 来设置 Python 环境。

2. 创建完整配置文件

如果应用程序已部署在 Azure 上，您可以运行 make name=my-rg-name sync-local-config 将配置从远程复制到本地机器。

[!TIP] 要使用服务主体向 Azure 进行身份验证，您还可以在 .env 文件中添加以下内容：

AZURE_CLIENT_ID=xxx
AZURE_CLIENT_SECRET=xxx
AZURE_TENANT_ID=xxx

如果解决方案尚未在线运行，请根据 config-local-example.yaml 中的示例填写模板。该文件应放置在项目根目录下，名为 config.yaml。

3. 运行部署自动化

如果解决方案尚未部署在 Azure 上，则执行此步骤。

make deploy-bicep deploy-post name=my-rg-name

• 这将部署 Azure 资源但不包括 API 服务器，允许您在本地测试机器人
• 等待部署完成

4. 连接到 Azure Dev 隧道

[!IMPORTANT] 隧道需要在单独的终端中运行，因为它需要一直运行

# 登录一次
devtunnel login

# 启动隧道
make tunnel

5. 快速迭代代码

[!NOTE] 要覆盖特定的配置值，您可以使用环境变量。例如，要覆盖 llm.fast.endpoint 值，您可以使用 LLM__FAST__ENDPOINT 变量：

LLM__FAST__ENDPOINT=https://xxx.openai.azure.com

[!NOTE] 此外，local.py 脚本可用于测试应用程序，无需电话呼叫（即无需通信服务）。使用以下命令运行脚本：

python3 -m tests.local

make dev

• 代码在文件更改时自动重新加载，无需重启服务器
• API 服务器可在 http://localhost:8080 访问

高级用法

启用通话录音

通话录音默认禁用。要启用它：

1. 在 Azure 存储帐户中创建一个新容器（例如 recordings），如果您已在 Azure 上部署了解决方案，则此步骤已完成
2. 将应用配置中的功能标志 recording_enabled 更新为 true

使用 AI 搜索添加我的自定义训练数据

训练数据存储在 AI 搜索中，以便机器人按需检索。

所需的索引架构：

填充索引的软件包含在 Synthetic RAG Index 代码库中。

自定义语言

机器人可用于多种语言。它可以理解用户选择的语言。

请参阅文本转语音服务的支持的语言列表。

# config.yaml
conversation:
initiate:
    lang:
      default_short_code:fr-FR
      availables:
        -pronunciations_en:["French","FR","France"]
          short_code:fr-FR
          voice:fr-FR-DeniseNeural
        -pronunciations_en:["Chinese","ZH","China"]
          short_code:zh-CN
          voice:zh-CN-XiaoqiuNeural

如果您构建并部署了 Azure 语音自定义神经语音 (CNV)，请在语言配置上添加字段 custom_voice_endpoint_id：

# config.yaml
conversation:
initiate:
    lang:
      default_short_code:fr-FR
      availables:
        -pronunciations_en:["French","FR","France"]
          short_code:fr-FR
          voice:xxx
          custom_voice_endpoint_id:xxx

自定义审核级别

为内容安全的每个类别定义了级别。分数越高，审核越严格，从 0 到 7。审核应用于所有机器人数据，包括网页和对话。在 Azure OpenAI 内容过滤器中配置它们。

自定义索赔数据架构

完全支持数据架构的自定义。您可以根据需要添加或删除字段。

默认情况下，架构由以下内容组成：

• caller_email (email)
• caller_name (text)
• caller_phone (phone_number)

验证值以确保数据格式符合您的架构。它们可以是：

• datetime
• email
• phone_number (E164 格式)
• text

最后，可以提供可选的描述。描述必须简短且有意义，它将传递给 LLM。

对于入站呼叫，默认架构在配置中定义：

# config.yaml
conversation:
default_initiate:
    claim:
      -name:additional_notes
        type:text
        # description: xxx
      -name:device_info
        type:text
        # description: xxx
      -name:incident_datetime
        type:datetime
        # description: xxx

可以通过在 POST /call API 调用中添加 claim 字段来自定义每次呼叫的索赔架构。

自定义呼叫目标

目标是描述机器人在呼叫期间将做什么。它用于为 LLM 提供上下文。它应该简短、有意义，并用英语书写。

此解决方案优先于覆盖 LLM 提示。

对于入站呼叫，默认任务在配置中定义：

# config.yaml
conversation:
  initiate:
    task: |
      帮助客户处理保险索赔。助手需要从客户那里获取数据来填写索赔。将提供最新的索赔数据。在收集到所有相关数据之前，助手的角色不会结束。

可以通过在 POST /call API 调用中添加 task 字段来自定义每次呼叫的任务。

自定义对话

对话选项表示为功能。它们可以从应用配置进行配置，无需重新部署或重启应用程序。功能更新后，需要 60 秒的延迟才能使更改生效。

默认情况下，值每 60 秒刷新一次。刷新在所有实例之间不同步，因此在所有用户看到更改之前可能需要长达 60 秒。在 app_configuration.ttl_sec 字段中更新此设置。

使用 Twilio 发送短信

要使用 Twilio 发送短信，您需要创建一个帐户并获取以下信息：

• 帐户 SID
• 认证令牌
• 电话号码

然后，在 config.yaml 文件中添加以下内容：

# config.yaml
sms:
  mode: twilio
  twilio:
    account_sid: xxx
    auth_token: xxx
    phone_number: "+33612345678"

自定义提示

请注意，提示示例包含 {xxx} 占位符。这些占位符由机器人用相应的数据替换。例如，{bot_name} 在内部被机器人名称替换。确保所有 TTS 提示都用英语书写。该语言用作对话翻译的枢轴语言。所有文本都引用为列表，因此用户每次呼叫时都可以有不同的体验，从而使对话更具吸引力。

# config.yaml
prompts:
tts:
    hello_tpl:
      -:|
          你好，我是 {bot_name}，来自 {bot_company}！我是一名 IT 支持专家。

          我的工作方式是：当我工作时，您会听到一点音乐；然后，在提示音响起时，轮到您说话。您可以自然地跟我说话，我能理解。

          您遇到什么问题了？
      -:|
          嗨，我是 {bot_company} 的 {bot_name}。我在这里提供帮助。

          您会听到音乐，然后是提示音。自然地说话，我能理解。

          有什么问题吗？
llm:
    default_system_tpl:|
      助手名叫 {bot_name}，在 {bot_company} 的呼叫中心工作，是一名拥有 20 年 IT 服务经验的专家。

      # 上下文
      今天是{date}。客户从{phone_number}呼入。呼叫中心号码是{bot_phone_number}。
    chat_system_tpl:|
      # 目标
      为员工提供内部 IT 支持。助手需要从员工那里获取数据以提供 IT 支持。在问题解决或请求完成之前，助手的角色不会结束。

      # 规则
      -即使用户说另一种语言，也用{default_lang}回答
      -不能谈论IT支持以外的任何话题
      -礼貌、乐于助人且专业
      -将员工的问题重新表述为陈述句并回答它们
      -使用额外的上下文来增强对话，提供有用的细节
      -当员工说一个词然后拼出字母时，这意味着该词是按照员工拼写的方式书写的（例如"I work in Paris PARIS","My name is John JOHN","My email is Clemence CLEMENCE at gmail GMAIL dot com COM"）
      -您为{bot_company}工作，而不是为其他人

      # 助手需要收集的员工数据
      -部门
      -IT问题或请求的描述
      -员工姓名
      -地点

      # 遵循的一般流程
      1.收集信息以了解员工身份（例如姓名、部门）
      2.收集有关IT问题或请求的详细信息以了解情况（例如描述、地点）
      3.提供初步故障排除步骤或解决方案
      4.如果需要，收集额外信息（例如错误消息、截图）
      5.积极主动，为跟进或进一步协助创建提醒

      # 支持状态
      {claim}

      # 提醒
      {reminders}

优化响应延迟

延迟主要来自两个方面：

• 语音输入和语音输出由 Azure AI 语音处理，两者都以流模式实现，但语音不直接流式传输到 LLM
• LLM，特别是 API 调用和推断出第一个句子之间的延迟可能很长（因为句子在可用时逐个发送），如果它产生幻觉并返回空答案（这种情况经常发生，应用程序会重试调用），延迟会更长

目前，唯一有影响的事情是 LLM 部分。这可以通过在 Azure 上使用 PTU 或使用不太智能的模型（如 gpt-4.1-nano，在最新版本中默认选择）来实现。通过 Azure OpenAI 上的 PTU，在某些情况下可以将延迟减少一半。

应用程序原生连接到 Azure Application Insights，因此您可以监控响应时间并查看时间花在哪里。这是识别瓶颈的一个良好开端。

如果您有任何优化响应延迟的想法，请随时提出问题或建议 PR。

通过模型微调提高对话质量

通过整合来自人工运营呼叫中心的历史数据来增强 LLM 的准确性和领域适应性。在进行之前，请确保遵守数据隐私法规、内部安全标准和负责任 AI 原则。考虑以下步骤：

1. 聚合真实数据源：收集来自先前人工管理交互的语音录音、通话记录和聊天日志，为 LLM 提供真实的训练材料。
2. 预处理和匿名化数据：移除敏感信息（AI 语言个人身份信息检测），包括个人标识符或机密细节，以保护用户隐私、满足合规性并符合负责任 AI 指南。
3. 执行迭代微调：使用策划的数据集持续优化模型（AI Foundry 微调），使其学习行业特定术语、偏好的对话风格和问题解决方法。
4. 验证改进：针对样本场景测试更新后的模型，并测量关键绩效指标（例如用户满意度、通话时长、解决率），以确认调整带来了有意义的增强。
5. 监控、迭代和 A/B 测试：定期重新评估模型的性能，整合新收集的数据，并根据需要应用进一步的微调。利用内置功能配置对模型的不同版本进行 A/B 测试（应用配置实验），确保做出负责任的、数据驱动的决策并持续优化。

监控应用程序

应用程序将跟踪和指标发送到 Azure Application Insights。您可以从 Azure 门户或使用 API 监控应用程序。

这包括应用程序行为、数据库查询和外部服务调用。此外，还有来自 OpenLLMetry 的 LLM 指标（延迟、令牌使用量、提示内容、原始响应），遵循 OpenAI 操作的语义约定。

还发布了自定义指标（可在 Application Insights > 指标中查看），特别是：

• call.aec.droped，回声消除完全丢失语音的次数。
• call.aec.missed，回声消除未能及时消除回声的次数。
• call.answer.latency，用户语音结束到机器人语音开始之间的时间。