-
OCR噪声直接命中了RAG的软肋~
在RAG系统中，OCR从非结构化的PDF文档的不完美抽取和结构化数据的非统一表示会导致知识库中出现OCR噪声（语义噪声和格式噪声），最终影响RAG系统的性能。不同级别的语义噪声在纯文本、方程和表格上的示意图，这些都是基于现有的OCR结果进行扰动的。因此提出并开源OHRBench，评估了当前OCR解决方案在现实世界RAG应用中的适用性：基于流水线的OCR表现出最佳性能。在所有OCR解决方案中，使用M…- 8
- 0
-
大模型超长窗口上下文与检索增强生成——RAG
“ 怎么解决大模型的记忆问题，以及保证结果的准确性，目前还是大模型应用中一个亟待解决的问题 ”看过作者文章的人对RAG技术应该有了初步的了解，但不知道是否了解大模型的窗口大小；即使没有研究过大模型的窗口，但也应该听过每次大模型输入的内容是有限的；而这个有限就是因为大模型窗口的限制。那么，大模型窗口与检索增强的关系是什么样的？怎么解决长对话问题，随着大模型窗口的增加，RAG会死吗…- 6
- 0
-
使用RAG技术构建企业级文档问答系统：解析(1)使用MinerU将PDF转换为Markdown
概述在RAG应用中，一个稍微有点规模的知识库可能包含来自PDF、Word、PPT、网页等各种不同来源的内容，每种内容都有各自的解析器，但想把每种类型的解析都做到比较好是比较繁琐的，直观的例子比如Word中，可能存在页眉、页脚，页面版式可能是左右两栏，PDF中有可能会包含水印等干扰内容，网页就更明显了，这些如果处理不好，都会不同程度地影响后续流程，对每种文档类型分别解析并进行处理的模型，流程如下：为…- 13
- 0
-
RAG 数据集准备篇：用三大 Agents 优化评估流程
本文是关于如何优化 RAG 技术的一系列文章之一。在之前的文章中，我们已经深入探讨了如何在 Chunking、Embedding 以及评估指标设计等环节优化 RAG 性能。这篇文章将重点关注如何准备评估 RAG 性能所需的数据集，为后续优化打下坚实基础。1. 优化 RAG 不是“炼丹”，需要系统的方法当涉及到如何优化 RAG（Retrieval-Augmented Generation）性能时，许…- 6
- 0
-
打造自己的RAG解析大模型：简单高效的跨页表格合并方案
在构建 RAG 知识库时，PDF文档中的表格跨页现象是一个常见挑战。传统方法依赖复杂的逻辑来判断和合并表格，而更简单、高效的方案可以通过 chunk 的存储和上下文管理来解决。两种表格合并算法两种算法都基于版面识别判断法。前提：正确识别版面并去除每页的页眉、页脚。1. 合并后存储为一个chunk判断当前页最后一个元素和下一页第一个元素的类型：如果两者均为 表格 类型，则认为是跨页表格的延续。将两页…- 8
- 0
-
[RAG] Late Chunking：使用长上下文嵌入模型的上下文化块嵌入
本文介绍一下最近比较火的Late Chunking(延迟分块) ，它用于改进文本嵌入的质量。该方法利用长上下文嵌入模型，在变换器模型之后和均值池化之前进行分块，从而捕获完整的上下文信息。与传统的朴素分块方法相比，延迟分块在各种检索任务中表现更优，且无需额外训练。此外，本文还提出了长延迟分块方法，用于处理超过模型上下文长度的长文档，并介绍了一种基于跨度池化的训练方法，以进一步提高检索准确性。延迟分块…- 0
- 0
-
RAG结合知识图谱本周前沿总结：引入推理规则、用于实体链接及KGQA式GraphRAG
今天是2024年11月17日，星期日，北京，天气晴。最近在想，很有趣的是，大家做了那么多，没有一个完美方案，总结的来说：监督微调计算成本高且容易过拟合；上下文学习（ICL）依赖于手工模板，效率低且难以处理长上下文；检索增强生成（RAG）依赖于检索文档的质量和相关性，计算成本高；知识图谱（KG）方法需要大量手动构建和维护，扩展性差。所以，RAG这个补丁越打越多，并且是针对不同的任务再花式地打，所以，…- 13
- 0
-
稳！Zilliz助力XTransfer基于RAG打造B2B外贸金融加速器
中小微企业是保持国民经济平稳快速发展的重要力量。根据联合国数据，中小微企业在全球企业总数中占比超过90%，为全球经济贡献了超过50%的GDP。XTransfer致力于为跨境贸易企业提供安全、高效、低成本的跨境支付及金融解决方案，让全球中小微企业惠享金融服务。作为一站式外贸企业跨境金融和风控服务公司，XTransfer成立于2017年，深耕行业，以大数据驱动，通过人工智能等技术，服务覆盖全球200+…- 3
- 0
-
如何平衡向量检索速度和精度？深度解读HNSW算法
向量检索（向量相似性搜索）是AI时代最重要的技术之一。其典型应用场景包括：推荐系统、检索增强生成（RAG）等高级GenAI应用。向量检索最突出的优势是准确性和速度。过去，向量搜索通常是用暴力扫描的方式来找到和查询向量最近的K个邻居（kNN）。它的核心思想是比对查询向量和库内所有向量的距离，简单直观但计算量大。也就是说，如果内存中有100个文档，kNN算法将计算查询向量与100个文档向量的相似度或距…- 9
- 0
-
为什么分块在RAG技术中很重要？但又很没有存在感？
“ RAG技术是一项系统化的工程，由多个重要环节组成，而不是单一的技术实体 ”RAG技术作为目前大模型应用比较火的一个领域，怎么做好一个RAG系统一直是很多人和企业都在思考的一个问题；但RAG并不是一个独立的技术，而是一个技术的集合体，涉及到多个不同的技术；比如说向量数据库，embedding，语义分析，搜索技术等等。而在RAG技术中有一个不被大家所重视的一点就是——分块(ch…- 6
- 0
-
揭开RAG系统的评估面纱：4 大指标助你提升输出质量
之前笔者已经介绍了如何通过 Chunking 和 Embedding 来优化 RAG 系统。今天我们来聊聊评估 RAG 系统性能的指标体系。我们的重点会放在评估大模型的输出的指标上。在优化基于检索增强生成（Retrieval-Augmented Generation, RAG）的系统时，明确性能评估方法是关键的一步。本篇文章将围绕 RAG 系统的评估指标展开，重点探讨如何通过科学评估优化系统性能。…- 4
- 0
-
[RAG] FastRAG：半结构化数据的检索增强生成
本文介绍了FastRAG，一种针对半结构化数据的新型RAG方法。FastRAG采用模式学习和脚本学习来提取和结构化数据，而无需将整个数据源提交给LLM。它将文本搜索与知识图谱（KG）查询相结合，以提高在问答任务中检索上下文丰富信息的准确性。从评估结果来看，FastRAG在提供准确问答的同时，与GraphRAG相比，时间上提高了90%，成本上提高了85%。FastRAG提出的背景和动机FastRAG…- 10
- 0
-
GraphRAG全局问答工程化实践
GraphRAG作为一种结构化和层次化的增强检索生成方法，正逐步展现出其在全局问答工程化实践中的巨大潜力。本文深入探讨了GraphRAG的核心理念和相关技术，并对GraphRAG落地过程中的实践经验进行了总结，期望能为关注全局问答效果的学者与从业者提供一定参考。GraphRAG全局问答工程化实践亚信科技（中国）有限公司摘要：本文对 GraphRAG 落地过程中的挑战展开深入剖析，并针对…- 8
- 0
-
Graph RAG 优化实践
摘要：随着大型语言模型（LLMs）在自然语言处理和自然语言生成领域的广泛应用，检索增强生成（RAG）技术已成为一种高效的方法，它能够从外部知识库中检索相关信息，以精确回应用户的问题。但是，在面对用户提出的全局性问题时，RAG的表现往往难以满足预期，微软公司提出了一种创新的RAG方法——“Graph RAG”，该方法通过利用LLMs构建知识图谱，并生成全局性的社区摘要，以助力解答用户的全局性问题。然…- 5
- 0
-
傻傻分不清？一文彻底说清Agentic RAG的前世今生！
生成式AI的发展日新月异，一不小心你就会淹没在新的概念中。RAG（检索增强生成）、Agent（智能体）作为主流的大语言模型（LLM）应用形式已经广为人知。这不还经常听到一个词：Agentic RAG，前两天还有人问小编它到底是RAG还是Agent？今天我们就来彻底说清楚Agentic RAG。01为什么需要Agentic RAG？首先，RAG是什么？RAG是用检索到的外部知识来对LLM进行能力增强…- 9
- 0
-
卷起来了！长文本向量模型分块策略大比拼
长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？很多人觉得... 未必。直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊，帮你避坑。长文本向量化的问题首先，让我们看看将整篇文章压缩成单一向量会存在哪些问题。以构建文档搜索系统为例，单篇文章可能包含多个主题。 比如这篇关于 ICML 2024 参会报告的博客，就包含会议介绍…- 1
- 0
-
ERRR：基于参数知识的查询优化框架，增强RAG系统的准确性
今天分享的是解决检索增强生成系统中预检索信息差距的一个方法：ERRR。论文链接: https://arxiv.org/pdf/2411.07820v101简介随着大型语言模型（LLM）在自然语言处理领域的广泛应用，检索增强生成（RAG）技术被提出，以解决LLM知识局限性导致的“幻觉”问题。RAG系统通过检索外部知识库来增强LLM的知识，从而生成更准确、更相关的答案。然而，现有的RAG系统存在一个关…- 3
- 0
-
RAG检索增强生成和大模型微调的抉择
“ RAG和微调即相似，又不完全相同，它们在能力上是互补的。”很多人会奇怪RAG和微调有什么关系，而对RAG和微调了解的人应该都明白为什么会把RAG和微调放在一块讨论。有些人说有了RAG就不需要微调，而另一些人说有了微调就不需要RAG，这到底是怎么回事？RAG和微调之间到底存在什么样的恩恩怨怨？RAG与微调作者在第一次看到RAG和微调的标题时，也是一脸懵逼；RAG和微调有什么关系，它们完…- 2
- 0
-
孙悟空 + 红楼梦 – 西游记 = ？一文搞懂什么是向量嵌入
一起来开个脑洞，如果孙悟空穿越到红楼梦的世界，他会成为谁？贾宝玉，林黛玉，还是薛宝钗？这看似一道文学题，但是我们不妨用数学方法来求解：孙悟空 + 红楼梦 - 西游记 = ？文字也能做运算？当然不行，但是把文字转换成数字之后，就可以用来计算了。而这个过程，叫做 “向量嵌入”。为什么要做向量嵌入？因为具有语义意义的数据，比如文本或者图像，人可以分辨相关程度，但是无法量化，更不能计算。比如，对于一组词“…- 5
- 0
-
外行如何速成专家？Embedding之BM25、splade稀疏向量解读
在 《孙悟空 + 红楼梦 - 西游记 = ？一文搞懂什么是向量嵌入》这篇文章中，我们已经知道了文本怎么变成稠密向量，并且还能够表达文本的语义。但是，对于嵌入模型的“专业领域”外的文本，它的效果不尽如人意。打个比方，假设你身体不舒服去看医生，医生完全理解你的描述，他会判断病因然后做出诊断。但是，如果你问医生“人工智能如何影响汽车行业？”，医生大概会觉得你不仅身体不舒服，脑子也需要治一治。医生不懂这方…- 5
- 0
-
企业RAG构建中，如何使用VTS进行数据迁移
1引言VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。Apache SeaTunnel作为一个分布式数据集成平台，以其丰富的连接器系统和多引擎支持而闻名，VTS正是在此基础上，进一步扩展了其在…- 5
- 0
-
技术分享｜如何快速领域增强 RAG 的 Embedding 模型
1. 研究背景1.1 Embedding 模型在 RAG 中的重要性检索增强技术（RAG）提供了一种高效地更新领域知识，并且缓解模型幻觉问题的方法。在通常的 RAG 流程中，首先以向量数据库、索引库的形式存储领域知识；在用户提问时，在向量库和索引库中匹配与用户问题相关性最高的知识片段；最后，大模型根据用户问题和检索得到的知识片段，推理归纳并给出回答。在 RAG 方法中，检索到正确的知识片段是最终能…- 6
- 0
-
稳！Zilliz助力Xtransfer基于RAG打造B2B外贸金融加速器
中小微企业是保持国民经济平稳快速发展的重要力量。根据联合国数据，中小微企业在全球企业总数中占比超过90%，为全球经济贡献了超过50%的GDP。XTransfer致力于为跨境贸易企业提供安全、高效、低成本的跨境支付及金融解决方案，让全球中小微企业惠享金融服务。作为一站式外贸企业跨境金融和风控服务公司，XTransfer成立于2017年，深耕行业，以大数据驱动，通过人工智能等技术，服务覆盖全球200+…- 3
- 0
-
怎么解决大模型知识库的检索问题，RAG检索增强之——ReRank(重新排序)
“ 面临日益增长的海量数据，怎么高效和准确的检索数据一直是一个值得思考的问题 ”对大模型应用有所了解的人应该都知道RAG技术——检索增强，本公众号前前后后也写过好几次关于RAG的文章；但在实际的企业应用中，RAG还是面临着各种各样的问题，比如效率问题，准确度问题等等。这些问题虽然在一些应用场景中并没有什么影响，但在某些场景中却是不可接受的；因此就有很多人想方设法的优化RAG技术…- 1
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×