开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

Qwen3-Embedding系列模型在多语言和长上下文处理能力上超越主流竞品,成为开源嵌入新标杆。

核心内容:
Qwen3-Embedding系列模型评测表现及其版本介绍
Qwen3-Embedding与BGE-M3的全方位对比优势
Qwen3-Embedding的本地部署指南和Dify召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

前两天,通义千问推出的 Qwen3-Embedding 系列模型(包括8B、4B和0.6B三个版本)在权威评测中表现惊艳,尤其在多语言任务和长上下文处理能力上全面超越主流竞品,成为开源嵌入模型的新王者。

多尺寸全能选手,全面碾压BGE-M3!

性能霸榜,全尺寸领先

Qwen3-8B以70.58总分登顶榜单(超越Gemini-001的68.37),在16项评测中12项第一,尤其在检索精度(MSMARCO 57.65)、问答能力(NQ 10.06) 等关键任务上表现惊艳。

即使最小尺寸的Qwen3-0.6B(仅595M参数),总分64.34仍显著超越7B级竞品(如SFR-Mistral 60.9),小模型也有大能量!

对比BGE-M3:全方位代差优势

| 指标 | Qwen3-8B | BGE-M3 | 优势幅度 |
| — | — | — | — |
| 综合得分 | 70.58 | 59.56 | ↑11.02 |
| 上下文长度 | 32K | 8K | ↑ 4倍 |
| 检索任务(MSMARCO) | 57.65 | 40.88 | ↑41% |
| 开放问答(NQ) | 10.06 | -3.11 | 实现负分逆转 |
| 多语言理解 | 28.66 | 20.10 | ↑42% |

Qwen3在保持99%榜单合规性的同时,以更高维度参数(8B vs 568M)和4倍上下文支持,彻底改写Embedding模型性能边界!

同尺寸模型对比:性能碾压同级

同为7B级别:Qwen3-8B对比Linq-Embed-Mistral(61.47)、SFR-Mistral(60.9),性能领先超15%。

轻量级战场:Qwen3-0.6B(64.34)大幅领先同类小模型如multilingual-e5-large(63.22)、BGE-M3(59.56),证明通义千问架构的高效性。

本地部署Qwen3-Embedding

GPUStack本地部署

根据官方文档自行部署GPUStack,官方提供了Docker镜像,可快速部署。

在GPUStack的模型界面,点击部署模型 -> ModelScope,搜索qwen3-embedding。平台会自动检测你的硬件性能,推荐可以安装的量化模型版本。

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

gpustack 部署 qwen3-embedding

我们选择了 qwen3-embedding-8b的Q8_0量化版本,等待模型下载,提示 running,表示模型已经部署完成。

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

qwen3-embedding 模型部署成功

dify中测试

现在Dify的插件市场中找到GPUStack,点击安装插件。等插件安装完成后,进行模型配置。

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

Dify 中配置本地GPUStack部署的 QWEN3-EMBEDDING

创建知识库,在Embedding模型中,选择我们自己部署的模型。

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

Dify知识库创建

把公众号的历史文章,放入知识库进行测试。

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

上传文档

选择Dify的父子分段策略。由于是markdown格式,希望每一个大段为一个父块,分段符选择 “#”.

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

配置解析方式

测试一下召回情况

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

召回测试

(完)
* *

关注公众号获取更多精彩内容

[登录查看剩余 70% 内容](javascript:void (0);)

开源大模型本地部署开源大模型开源大模型汇总

分享:

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

[上一篇:[开源]面向企业级应用的开源知识管理系统,可落地的知识图谱体系](https://www.53ai.com/news/OpenSourceLLM/2025060969135.html)下一篇:通俗易懂的 MCP 概念入门

返回列表

相关资讯

2026-07-25 Codex 终于能自由切模型了:Claude、Kimi、Grok、GPT 都能接进来2026-07-25 AI 数据最难搞的 Harness 工程,被北大开源了!2026-07-24 【开源项目】AI写的文章满篇AI味?这个工具直接在Word里帮你标好改哪2026-07-24 Gemma 4 助力 Cue 打造极速端侧语音智能体交互体验2026-07-24 阿里开源0.8B文档解析模型,端到端模型首次超越流水线方法2026-07-24 吴恩达开源 OpenWorker:一个交付成品而不是对话的 AI 智能体桌面应用2026-07-23 梁文锋四小时投资人会议实录2026-07-22 微软开源 Resource2Skill:把教程、代码和文档“炼”成 Agent Skill

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

联系获取

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

联系获取

160+中大型企业正在使用53AI

[立即咨询](javascript:void(0))[预约演示](javascript:void(0))

把握AI发展的机遇,共同探索、共同进步 2025-01-22如何打造基于GenAI的员工服务机器人 2025-01-22

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片