-
性能基准：测定本地部署大模型的API在不同负载下的响应时间（Latency）、吞吐量（Throughput）和稳定性。 -
容量评估：找出API的最大并发处理能力（即在不崩溃或响应时间过长的情况下能支持的最大请求数）。 -
瓶颈识别：发现系统在高负载下的潜在性能瓶颈（如CPU、内存、I/O等）。
示例目标：
-
每秒处理100个请求时，平均响应时间不超过2秒。 -
并发用户数达到200时，系统仍稳定运行。
二、前期准备
-
本地部署的大模型：确保模型已部署并通过API（如RESTful接口）对外提供服务。例如，假设API地址为 http://localhost:8000/v1/completions。 -
Apifox工具： -
下载并安装最新版Apifox（官网：https://www.apifox.cn/）。 -
注册并登录账号（免费版即可支持基本压测功能）。
-
测试机器： -
配置：建议至少8核CPU、32GB内存（根据模型规模调整）。 -
操作系统：Windows/Linux/Mac均可。 -
确保网络稳定，避免外部干扰。
-
监控工具：安装系统性能监控工具（如Linux的htop、nmon，或Windows的资源监视器），若服务器为云服务器，直接使用平台监控能力即可，观察CPU、内存、磁盘I/O使用情况。
2. API接口确认
-
接口文档：获取大模型API的接口说明（如OpenAPI/Swagger格式），包括请求方法（GET/POST）、参数和响应格式。
-
示例接口：
-
URL：POST http://localhost:8000/v1/completions
-
请求体：
-
响应：
{"prompt": "你好，请生成一段关于AI的文本。","max_tokens": 100,"temperature": 0.7}
{"text": "AI是未来的趋势...","status": "success"}
3. 测试数据准备
-
多样化输入： -
短文本：如“你好”。 -
中等文本：如“请写一篇100字的文章”。 -
长文本：如“分析AI在医疗领域的应用，500字”。 -
参数变化： -
max_tokens：50、100、200。 -
temperature：0.5、0.7、1.0。 -
将这些输入保存为JSON文件，供Apifox调用。
-
场景1：低负载测试 -
并发用户数：10
-
请求频率：1次/秒/用户
-
持续时间：5分钟
-
目的：验证基本性能和稳定性。 -
场景2：中等负载测试 -
并发用户数：50 -
请求频率：2次/秒/用户 -
持续时间：10分钟 -
目的：评估正常使用场景下的表现。
-
场景3：高负载测试 -
并发用户数：200 -
请求频率：5次/秒/用户 -
持续时间：15分钟 -
目的：测试极限容量和稳定性。
-
响应时间：平均值、P95（95%请求的响应时间）、最大值。 -
吞吐量：每秒请求数（RPS）。 -
错误率：失败请求占比。 -
系统资源：CPU使用率、内存占用、网络带宽。
四、在Apifox中实施压测
-
打开Apifox，点击“新建项目”。 -
在“接口管理”中添加API： -
输入URL：http://localhost:8000/v1/completions。 -
设置请求方法为POST。 -
在“Body”中填入示例请求体（如上JSON）。 -
保存并测试单次请求，确保返回正常。
2. 设置压测脚本
-
进入“自动化测试”模块，点击“新建测试”。 -
配置测试步骤： -
步骤1：调用API -
选择刚添加的API。 -
设置变量（如prompt）为动态值，从准备好的JSON文件中随机读取。 -
步骤2：验证响应 -
检查状态码为200。 -
检查响应中status字段为success。 -
保存脚本。
3. 配置压测参数
-
点击“压测”选项卡，设置场景参数： -
场景1：并发10，频率1次/秒，持续300秒。 -
场景2：并发50，频率2次/秒，持续600秒。 -
场景3：并发200，频率5次/秒，持续900秒。 -
选择“动态值”： -
导入JSON文件，让prompt和max_tokens随机变化。 -
设置停止条件： -
错误率超过10%。 -
平均响应时间超过5秒。
-
点击“开始压测”，Apifox会模拟并发请求。
-
同时打开系统监控工具，记录资源使用情况。
-
每个场景结束后，保存结果报告。
五、结果分析
-
从Apifox导出报告，包含：
-
响应时间分布（平均、P95、最大）。
-
吞吐量（RPS）。
-
错误率。
-
结合系统监控数据，记录CPU、内存峰值。
2. 分析示例
-
场景1：
-
平均响应时间：0.5秒
-
吞吐量：10 RPS
-
CPU：20%
-
结论：低负载下表现良好。
-
场景2：
-
平均响应时间：1.2秒
-
吞吐量：100 RPS
-
CPU：60%
-
结论：中等负载可接受。
-
场景3：
-
平均响应时间：4.8秒
-
吞吐量：800 RPS
-
CPU：95%，内存溢出
-
结论：200并发超负荷，需优化。
-
若响应时间过长，检查：
-
模型推理速度：是否需要GPU加速？
-
服务器资源：CPU/内存是否不足？
-
网络延迟：本地部署应无此问题，但需确认。
