本地化大模型接入RagFlow错误记录


     前两天搭建一个RagFlow和基于vLLM框架的QwQ-32B模型,今天尝试把QwQ-32B接入RagFlow,测试一下RagFlow的功能,以及基于它构建Rag模型的效果。结果一堆错本地化大模型接入RagFlow错误记录,改了半天,这里记录一下
错误:连不上 connection error
  • 首先确保宿主机是能够连得上大模型的服务的
  • 登录ragflow容器内部测试连接,果然,连接失败
docker exec -it 0b527d272baa  /bin/bash curl -I http://10.10.10.10:8080
  • 怀疑是容器的网络配置有问题,于是检查相关的配置文件 docker-compose-CN-oc9.yml,果然发现问题,在部署ragflow的时候为了避开端口冲突,我把原文件(docker-compose.yml)中的80端口改成了8090,也就是容器的80端口映射到宿主机的8090端口,但是我没改 docker-compose-CN-oc9.yml 中的配置!!!
本地化大模型接入RagFlow错误记录
    • 修改完成后重启Docker服务
sudo systemctl restart docker
    • 重新进入ragflow容器内部验证是否连通
curl -X POST http://10.128.32.23:8080/v1/chat/completions >   -H "Content-Type: application/json" >   -d '{>     "model": "QWQ-32B",>     "messages": [{"role": "user", "content": "你好"}]>   }'
本地化大模型接入RagFlow错误记录
  • 顺利连通,到这里本来以为没事了,但是……
本地化大模型接入RagFlow错误记录
还是连不上,我真的天都塌了本地化大模型接入RagFlow错误记录
  • 继续排查,发现虽然我在部署QwQ-32B的时候比没有设置API-Key,但是在用代码or框架连接的时候这个API-Key必填!!!补充之后,连接成功!
本地化大模型接入RagFlow错误记录

前沿技术多模态技术新闻资讯

DeepSeek热潮背后,企业如何用多模态数据构建核心竞争力

2025-5-15 5:52:41

前沿技术多模态技术新闻资讯

一键部署!阶跃星辰开源多模态模型上线火山引擎

2025-5-15 6:49:31

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索