-
14.4K+ Star！GPT Researcher：一个基于AI的智能研究助手
GPT Researcher 简介GPT Researcher[1] 是一个基于大型语言模型（LLM）的自动化智能体，目标是对任何给定主题进行在线全面研究。该智能体能够生成详细、事实和无偏见的研究报告，并提供定制化选项，以关注相关资源和大纲。GPT Researcher的设计灵感来源于最新的Plan-and-Solve和RAG论文，目标是解决错误信息、速度、确定性和可靠性问题，通过并行化智能体工作…- 7
- 0
-
Fast GraphRAG：PageRank 算法为 GraphRAG 插上翅膀，成本降6倍，准确性提升20%
在传统的 GraphRAG 框架中，处理复杂查询和大规模知识库时常面临精确度不足和计算成本高昂的问题。然而，传统 GraphRAG 在处理大规模知识图谱时，常常难以准确识别最相关的信息节点。为了解决这些挑战，研究者提出了一种创新方法：将 PageRank 算法融合到 GraphRAG 中，创造出 Fast GraphRAG。这一突破性的改进不仅提升了检索精度，还显著降低了计算成本。Fast Gra…- 7
- 0
-
RAG文档处理中的数值图表和流程图如何解析？从表示方式到代表解决方案
今天是2024年11月11日，星期一，北京，天气雾。我们从今天起，得换个写法，回归到实际场景业务，谈谈一些解决方案的话题。最近琢磨的事情，就是现在很多文档场景，其实本质上都是做的数字化的过程，核心是从不可编辑到可编辑，比如常见的表格解析、文档转markdown、docx等。今天，我们来看看一个比较有趣的话题，这其实是RAG中的一些图表的解析方案，讲讲数值图表的解析以及流程图的解析。一些很有趣的思路…- 3
- 0
-
15种典型LLM+RAG框架大盘点
RAG（Retrieval-Augmented Generation，检索增强生成）通过结合检索和生成模型，提升输出结果的准确性，旨在减少大模型生成内容的“幻觉”问题。其核心思想是通过外挂知识库的方式给大模型提供更可靠的知识来抑制模型产生幻觉，并通过定期迭代知识库的方式解决大模型知识更新慢和训练成本高的难题。在RAG出现以前，NLP任务主要依赖于基于检索的系统或基于生成的系统：· 基于检索的系统：…- 8
- 0
-
RAG实战：打造可扩展的智能文档系统：终极 RAG 管道全解析
现代企业每天都在处理大量数据，分散在不同格式的文档、视频、邮件、聊天记录和电子表格中。然而，真正的挑战不仅是存储这些信息，而是要让它们易于访问并转化为可用的知识。传统搜索方案存在几大痛点：只能精确匹配关键字，无法应对复杂查询需求。缺乏语义理解，难以深入挖掘信息。难以兼容多种文件格式，信息检索不全面。无法从用户交互中学习，自我优化能力不足。企业亟需一个能够打破格式限制、理解上下文并持续智能化的解决方…- 5
- 0
-
RAG/LLM 和 PDF：使用 PyMuPDF 转换为 Markdown 文本
以Markdown文本格式输入数据可以提高生成文本的质量介绍在大型语言模型（LLMs）和检索增强生成（RAG）环境中，以markdown文本格式输入数据具有重要意义。以下是一些详细考虑因素。LLMs 是强大的语言模型，可以生成连贯且具有上下文相关性的文本。然而，它们有时可能会产生缺乏事实准确性或上下文的响应。通过结合基于检索的方法（如RAG），我们可以提高生成文本的质量。RAG …- 10
- 0
-
先进的多文档问答（MDQA）框架HiQA：大幅降低区分度低的复杂多文档RAG的幻觉问题
背景检索增强生成（RAG）迅速推进了语言模型领域，特别是在问答（QA）系统。通过在响应生成阶段集成外部文档，RAG显著提高了语言模型的准确性和可靠性。这种方法提高了响应的质量，并降低了幻觉的频率，其中模型生成了错误或误导性的信息。然而，这些方法表现出有限的检索精度时，面对众多的难以区分的文件，在其实际应用中提出了显着的挑战。为了应对这些新出现的挑战，本文提出HiQA，一个先进的多文档问答（MDQA…- 4
- 0
-
AI改变工作：一天内打造专属于你自己的RAG
1. RagFlow RAGFlow 是一个开源的 RAG（Retrieval-Augmented Generation）引擎，专注于深度文档理解。它为不同规模的企业和个人用户提供了一套简化的RAG工作流程。 官网链接：https://ragflow.io/Github：https://github.com/infiniflow/ragflow/blob/main 1.1 简介 模板驱动的文本处理…- 9
- 0
-
打造自己的RAG解析大模型：(新技能)企业垂类数据标注(一)
在上一篇文章中，我们以通用版面分析服务为例，展示了从模型发布到API集成的完整流程。如果你成功完成了这些步骤，值得庆祝！这不仅意味着你已成功安装PaddleX，还掌握了利用它发布OCR和目标检测等大模型服务的能力，这离创建属于你的RAG解析平台仅一步之遥。现在，你已经拥有百度飞桨提供的通用开源模型部署能力，可以满足一些基础需求。然而，要进一步满足企业的特定需求，还需要对行业数据进行标注，并利用这些…- 6
- 0
-
一篇大模型RAG最新综述
好久没分享过综述了，今天分享一个最新的RAG综述，来自卡内基梅隆大学。标题：A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions1. 引言1.1 RAG技术概述检索增强生成技术（RAG）主要由两个关键部分构成：其一是检索组件…- 6
- 0
-
微软GraphRAG 0.4.0&DRIFT图推理搜索更新
沉寂了一段时间，近日微软更新了Graphrag 0.4.0版本，Graphrag v0.4.0 版本发布，包含增量索引、DRIFT图推理搜索查询模块、嵌入式工作流程改进、性能优化和错误修复等多项改进。 Key Takeaways:* 添加了增量索引和 DRIFT图推理搜索模块。 * 改进了嵌入式工作流程，并添加了相应的 CLI 和示例 Notebook。 *…- 10
- 0
-
小模型在RAG（Retrieval-Augmented Generation）系统中的应用：提升效率与可扩展性的新路径
随着人工智能技术的飞速发展，大型语言模型（LLMs）如GPT-4等已在众多领域展现出卓越的能力。然而，这些大型模型往往伴随着高昂的计算成本和资源消耗，限制了其在某些场景下的广泛应用。近年来，利用小型语言模型（small LLMs）来实现检索增强生成（Retrieval-Augmented Generation, RAG）（RAG（Retrieval Augmented Generation）及衍生…- 6
- 0
-
RAG评估：RAGChecker重磅发布！精准诊断RAG系统的全新细粒度框架！
RAG应用已成为利用大模型能力的典型代表，受到广泛推广，并不断涌现出多种性能提升技术。然而，全面、准确地评估RAG系统仍然面临挑战。传统评估方法存在诸多局限性：难以有效衡量长文本回复、难以区分检索与生成模块的错误来源，且与人类判断的相关性较低。为了解决这些问题，亚马逊科学团队与上海交通大学等研究团队联合开发了RAGChecker。这是一款专为RAG系统设计的创新评估框架，能够通过自动检查和验证生成…- 11
- 0
-
蚂蚁KAG框架核心功能研读
1. 引言前几天蚂蚁正式发布了一个专业领域知识服务框架, 叫做知识增强生成(KAG：Knowledge Augmented Generation)，该框架旨在充分利用知识图谱和向量检索的优势，以解决现有 RAG 技术栈的一些挑战。从蚂蚁对这个框架预热开始，笔者就对 KAG 的一些核心功能比较感兴趣，尤其是逻辑符号推理与知识对齐，在现有主流 RAG 系统中，这两点讨论貌似还不算多，趁着这次开源，赶紧…- 3
- 0
-
为什么它是从PDF中解析数据的最佳工具？PDF文件解析新选择，构建LLM 大模型数据基础
我们希望有一个易于安装又尽可能简单易用的工具，可以将任何PDF文件解析成机器和LLM可读的markdown格式，无论PDF有多复杂（包括带有文本/表格/图片的文档），并保存在本地文件系统中。但老实说：并非所有 PDF 提取工具都能胜任上述任务。我们都知道处理 PDF 时的情况，尤其是当这些 PDF 是密集的研究论文或包含表格、图像和元数据的文档时，一些常规的PDF解析工具直接GG了。直到我发现了 …- 5
- 0
-
RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？
RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？正文想象一下，你去参加一场重要考试。方法A：考前狂补资料，把所有可能用到的知识都带进考场，需要时立刻翻阅（这就是RAG，全称"Retrieval Augmented Generation"，检索增强生成技术）。方法B：看几个典型例题，领悟解题思路，靠临场发挥（这就是ICL，全称"In-context …- 5
- 0
-
Long2RAG：评估长上下文与长形式检索增强生成与关键点召回
检索增强生成（RAG）是解决大型语言模型（LLMs）固定知识限制的有效方法。然而，现有基准测试存在两个主要缺陷：缺乏反映检索文档特征的数据集和全面评估长形式响应的能力。为此，我们引入了Long2RAG基准和关键点召回（KPR）指标。Long2RAG包含280个问题，涵盖10个领域和8个类别，每个问题关联5篇平均2444字的检索文档。KPR评估模型在生成响应时融入检索文档关键点的程度，提供更细致的评…- 4
- 0
-
微软GraphRAG 0.4.0发布，引入增量更新和DRIFT搜索
GraphRAG 已经发布 0.4.0[1] 新版本，该版本的代码经过一轮重构后，已于之前的代码结构有了很大的不同。该版本除了引入增量更新，还带了新的搜索机制 DRIFT 搜索，这是一种混合本地与全局的搜索的方法。本文即是对 DRIFT 方法的解析。我们后续也会带来 GraphRAG v0.4.0 解析和GraphRAG-server[2]对 0.4.0 的适配。GraphRA…- 6
- 0
-
StructRAG: 下一代GraphRAG – 中科院&阿里
StructRAG 框架概述选择最佳结构类型至关重要，因为它直接影响后续模块的有效性。为了训练路由器，作者提出了一种基于具有偏好优化 （DPO） 算法的决策转换器的新方法，该方法遵循强化学习原则，不需要额外的奖励模型。router 的训练数据是通过 synthesizing-simulating-judging pipeline 生成的，该管道为各种任务和结构类型创建高质量的 syn…- 7
- 0
-
企业如何从0到1构建RAG系统？
自2022年底OpenAI发布ChatGPT以来，大模型受到市场广泛关注，各行各业积极探索大模型的应用。但从企业实践来看，将大模型无缝集成到企业工作流中存在较多挑战，包括大模型的幻觉、开发和维护大模型的高成本以及由于大模型知识库的局限性而导致的准确率不满足业务需求。RAG（Retrieval-Augmented Generation，检索增强生成）是一种人工智能框架，旨在利用大语言模型（LLM）进…- 9
- 0
-
15种典型RAG框架：卡内基梅隆大学最新RAG综述
15种典型RAG框架：卡内基梅隆大学最新RAG综述发布时间：2024 年 10 月 03 日RAGA Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions本文深入探讨了 Retrieval-Augmented Generatio…- 5
- 0
-
Claude发布新的RAG方法 — 通过上下文嵌入与BM25结合显著降低数据块检索失败率
为了让 AI 模型在特定情境中发挥作用，它通常需要访问背景知识。比如，客户支持聊天机器人需要了解它们所应用的特定企业的信息，而法律分析机器人则需要掌握大量过往的知识。开发者通常使用检索增强生成（RAG）方法来增强AI模型的知识。RAG 是一种从知识库中检索相关信息并将其附加到用户提示中的方法，这大大提升了模型的响应能力。然而，传统的 RAG 解决方案在编码信息时往往会失上下文，这常常导致系统无法从…- 5
- 0
-
【大模型】深度解析：智能体如何突破 RAG 的三大技术瓶颈
在构建智能问答系统的过程中，传统的RAG（Retrieval-Augmented Generation）方法在回答简单问题时表现出色，但随着需求的提升，RAG的局限性也愈发明显。本文将分析传统RAG的局限性，探讨如何利用智能体应对这些问题，并总结为什么增加智能体层可以提升RAG系统的能力。1 传统RAG的局限性传统RAG架构依赖简单的top-k检索方法传统的RAG模型主要依赖简单的top-k检索方…- 8
- 0
-
RAG 系统的分块难题：小型语言模型如何找到最佳断点？
之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。虽然迟分对边界位置不敏感，但也不代表我们可以随便乱切，毕竟可读性对人和大模型都很重要。所以我们现在的思路是：既然用了迟分，就不用太担心语义或上下文丢失的问题。边界好坏，迟分都能…- 7
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×