前两天搭建一个RagFlow和基于vLLM框架的QwQ-32B模型,今天尝试把QwQ-32B接入RagFlow,测试一下RagFlow的功能,以及基于它构建Rag模型的效果。结果一堆错
,改了半天,这里记录一下
-
-
登录ragflow容器内部测试连接,果然,连接失败
docker exec -it 0b527d272baa /bin/bash curl -I http://10.10.10.10:8080
-
怀疑是容器的网络配置有问题,于是检查相关的配置文件 docker-compose-CN-oc9.yml,果然发现问题,在部署ragflow的时候为了避开端口冲突,我把原文件(docker-compose.yml)中的80端口改成了8090,也就是容器的80端口映射到宿主机的8090端口,但是我没改 docker-compose-CN-oc9.yml 中的配置!!!
sudo systemctl restart docker
curl -X POST http://10.128.32.23:8080/v1/chat/completions > -H "Content-Type: application/json" > -d '{> "model": "QWQ-32B",> "messages": [{"role": "user", "content": "你好"}]> }'
还是连不上,我真的天都塌了
-
继续排查,发现虽然我在部署QwQ-32B的时候比没有设置API-Key,但是在用代码or框架连接的时候这个API-Key必填!!!补充之后,连接成功!