-
• 项目管理 – 端到端项目生命周期管理 -
• 数据集管理 – 多格式数据集支持与自动模式映射 -
• 评估管理 – 多维模型评估指标体系 -
• 追踪管理 – 全链路调用追踪与分析 -
• 提示管理 – 版本化提示模板与动态编译 -
• 合成数据 – 智能问答对生成与数据增强 -
• 安全护栏 – 多层防护策略与实时执行 -
• 红队测试 – 对抗性测试与脆弱性扫描 -
安装
使用 pip 进行安装：
pip install ragaai-catalyst
配置
配置认证凭证：
from ragaai_catalyst import RagaAICatalyst
# 初始化客户端
catalyst = RagaAICatalyst(
access_key="您的访问密钥",
secret_key="您的安全密钥",
base_url="API端点"
)密钥获取步骤：
-
1. 登录 RagaAI 控制台 -
2. 进入「个人设置」→「认证管理」 -
3. 点击「生成新密钥」 -
注意：所有 API 操作均需认证凭证
核心功能
项目管理
# 创建新项目
project = catalyst.create_project(
project_name="智能客服系统",
usecase="对话机器人"
)
# 列出所有项目
projects = catalyst.list_projects()数据集管理
支持 CSV/JSONL/DataFrame 多数据格式：
from ragaai_catalyst import Dataset
ds = Dataset(project_name="智能客服系统")
# 从 CSV 创建数据集
ds.create_from_csv(
csv_path="对话记录.csv",
dataset_name="客服对话",
schema_mapping={'用户提问': 'query', '机器人回复': 'response'}
)评估管理
from ragaai_catalyst import Evaluation
eval = Evaluation(
project_name="智能客服系统",
dataset_name="客服对话"
)
# 添加评估指标
eval.add_metrics([
{
"name": "事实准确性",
"config": {"model": "gpt-4o", "threshold": {"gte": 0.8}}
}
])
# 获取评估结果
results = eval.get_results()追踪管理
from ragaai_catalyst import Tracer
tracer = Tracer(
project_name="智能客服系统",
dataset_name="服务追踪"
)
with tracer():
# 需要追踪的业务逻辑
response = chatbot.query("如何重置密码？")代理追踪
@trace_Agent(name="推荐代理")
class RecommendationAgent:
def recommend(self, text):
# 业务逻辑
current_span().add_metrics(accuracy=0.92)提示管理
from ragaai_catalyst import PromptManager
pm = PromptManager(project_name="智能客服系统")
prompt = pm.get_prompt("标准回复模板")
# 动态编译提示
compiled_prompt = prompt.compile(
query="订单查询",
context="用户需要查看近期订单"
)合成数据生成
from ragaai_catalyst import SyntheticDataGeneration
sdg = SyntheticDataGeneration()
text = sdg.process_document("产品手册.pdf")
# 生成复杂问答对
qna_data = sdg.generate_qna(text, question_type='complex', n=50)护栏管理
from ragaai_catalyst import GuardrailsManager
gm = GuardrailsManager(project_name="智能客服系统")
# 添加安全规则
gm.add_guardrails(
deployment_id=123,
guardrails=[{
"name": "敏感信息过滤",
"config": {"threshold": {"lte": 0.1}}
}]
)红队测试
from ragaai_catalyst import RedTeaming
rt = RedTeaming(model_name="gpt-4", provider="openai")
# 运行安全扫描
test_report = rt.run(
description="招聘顾问机器人",
detectors=["偏见检测", "有害内容"],
response_model=chatbot.predict
)