你是否遇到过这样的情况：辛辛苦苦开发的 AI Agent 突然失灵了，却不知道是哪个环节出了问题？今天给家人们分享一下如何让 AI Agent 的运行过程透明化。
为什么要监控 AI Agent？
传统的对话系统就像一张预先画好的地图，用户只能按照既定路线前进。而 AI Agent 则像是一位灵活的向导，能够根据用户的需求实时规划路线。
但这种灵活性也带来了新的问题：
-
Agent 的决策过程变得难以追踪 -
性能问题无法快速定位 -
错误原因难以排查
用 AI Agent 而没有做好监控，就像蒙着眼睛开车一样危险。
一般要监控哪些内容？
在 AI Agent 的运行过程中，常见的一些关键指标如下：
-
决策链路
-
Agent 采取了哪些行动？ -
每个决策的依据是什么？
-
性能指标
-
响应延迟 -
资源消耗 -
调用成功率 -
输入输出
-
用户输入的具体内容 -
系统的响应结果 -
中间步骤的数据
实战：如何实现 Agent 监控？
今天我们以 HuggingFace 的 SmolAgents 为例，介绍如何使用 OpenTelemetry 实现监控。
1. 环境准备
首先安装必要的包：
pip install smolagents
pip install arize-phoenix opentelemetry-sdk opentelemetry-exporter-otlp openinference-instrumentation-smolagents
2. 配置监控
添加以下代码来初始化监控：
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from openinference.instrumentation.smolagents import SmolagentsInstrumentor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
endpoint = "http://0.0.0.0:6006/v1/traces"
trace_provider = TracerProvider()
trace_provider.add_span_processor(SimpleSpanProcessor(OTLPSpanExporter(endpoint)))
SmolagentsInstrumentor().instrument(tracer_provider=trace_provider)
3. 创建并运行 Agent
下面是一个简单的天气查询 Agent 示例：
from typing import Optional
from smolagents import TransformersModel, tool
from smolagents.agents import CodeAgent, ToolCallingAgent
model = TransformersModel(model_id="HuggingFaceTB/SmolLM2-1.7B-Instruct", device_map="auto", max_new_tokens=1000)
@tool
def get_weather(location: str, celsius: Optional[bool] = False) -> str:
"""获取指定地点的天气信息"""
return "当前天气晴朗，温度 20°C"
agent = ToolCallingAgent(tools=[get_weather], model=model)
result = agent.run("北京今天天气怎么样？")
4. 查看监控数据
运行后，我们可以在监控面板中看到：
-
Agent 的完整调用链路 -
每个步骤的耗时 -
输入输出详情 -
资源使用情况
可以深入每一次输入查看完整信息。
最后
在实际应用中，要把握好监控的"度"。
保持一个恰到好处的粒度，既要能及时发现问题，又不能让监控本身成为系统的负担。常见重点关注的几个关键指标：响应时间、错误率和资源使用情况。当这些指标出现异常时，比如响应明显变慢或错误突然增多，往往意味着系统出现了问题。
最后是设置合理的告警机制。当系统出现异常时，能够第一时间感知到。
