-
高级 RAG 检索策略之知识图谱
RAG（Retrieval Augmented Generation）技术中检索是一个非常重要的环节，检索的准确性直接影响到生成的质量，但普通 RAG 的向量检索技术并不能满足所有场景下的需求，比如在一些大型私有文档库中，传统的检索技术往往表现不好。目前已经有很多研究团队在 RAG 中引入知识图谱来提高检索的准确性，并且取得了很好的效果。今天我们就来了解一下知识图谱的原理，以及如何在 RAG 中进…- 5
- 0
-
LongRAG：通过长上下文大型语言模型增强检索增强生成
01。概述LongRAG旨在解决传统检索增强生成（RAG）系统的限制，这些系统通常使用较短的检索单元。在传统配置中，这些短单元导致检索器负担沉重，而阅读器的任务相对较轻，常常导致性能不佳。LongRAG提议使用长达4K个token的更长检索单元，减少所需的总单元数量，并显著减轻检索器的任务。这种方法显著提高了检索得分，与以前的方法相比，召回率大幅提高。此外，LongRAG利用长上下文大型语言模型进…- 7
- 0
-
再揭秘微软Graph RAG-提示微调Prompt Tuning
0.GraphRAG索引引擎的提示调优默认提示（Default Prompts）目的：为GraphRAG系统提供最简便的入门方式。特点：无需复杂配置，即插即用。相关功能：实体/关系提取（Entity/Relationship Extraction）实体/关系描述总结（Entity/Relationship Description Summarization）声明提取（Claim Extractio…- 2
- 0
-
让LLM和AI Agent更聪明：微软开源基于知识图谱的GraphRAG！
RAG，全名Retrieval-Augmented Generation，是一种结合了信息检索和文本生成的AI技术。RAG通过将大语言模型（LLM）与外部知识库连接，检索相关信息，然后利用这些信息来增强生成模型的输出，从而显著提高生成文本的相关性和准确性。RAG模型通常由两部分组成：检索组件和生成组件。检索组件负责在给定的大量数据中检索与输入查询最相关的信息。这些数据可以是文本、图片或其他类型的数…- 1
- 0
-
大模型时代数据是重中之重，而怎么收集数据是一个需要解决的问题，而爬虫技术就是收集数学的主要方式之一
“ 爬虫写的好，牢饭少不了” 爬虫作为数据收集和分析的一种重要手段，其重要性不言而喻。但爬虫入门简单，想做好却并不那么简单。 最重要的是，爬虫属于一个灰色地带的技术应用场景；有句话叫：“爬虫写的好，牢饭少不了”。 对一些企业来说，爬虫是一个非常好的数据收集工具；比如百度，微信，淘宝等。而对某些别有用心的人来说，它就是一种犯罪的工具。 因此，各位学习爬虫的朋友，在使用这项技术时，一定要慎重。 01 …- 4
- 0
-
NVIDIA 培训 | 学习使用 NVIDIA NIM 部署生产级 RAG 应用
《使用 NVIDIA NIM 大规模部署 RAG 工作流》新课发布配有实战练习环境的在线自主培训在现代企业商业智能化的发展中，检索增强生成（RAG）在大语言模型应用中的地位日益凸显。不仅能够显著提升企业内容创作与交互的智能化水平，还能在多个业务场景中实现精准信息抽取与高效内容生成。企业级的 RAG 应用需要应对巨大流量和大规模文档，从模型搭建到生产级部署具有很高的复杂度和参数量。本课程探讨 RAG…- 2
- 0
-
引入GraphRAG的场景条件分析
在讨论GraphRAG并审阅本文之前，我们想了解一下GraphRAG的概念利用来自GNN（图神经网络）的图嵌入进行用户查询响应推理，这种方法将图嵌入添加到文本嵌入中。称为软提示，它是一种提示工程形式。提示工程可以广泛分为硬提示和软提示。硬提示是明确的，其中上下文是手动添加到给定用户查询的。例如，如果用户查询是“我想今天吃面包”，硬提示可能明确概述任务、上下文、人物、示例、格式和语气，需要在六个维度…- 3
- 0
-
大模型不止有RAG、参数存储，还有第3种记忆！
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发，他们通过为 LLM 配备显式记忆（一种比模型参数和 RAG 更便宜的记忆格式）…- 3
- 0
-
RAG深度：Rerankers让你轻松玩转检索模型！
朋友们，你们有没有过这样的经历：辛辛苦苦写了个检索系统，好不容易找到了相关的文档，可是一看结果列表，却傻眼了——怎么排得乱七八糟的，真正有用的信息反而藏在犄角旮旯里？ 别慌，今天我给大家介绍一个神器：Rerankers！有了它，排序从此不再是难题，让你的检索系统立刻变身“检索黑科技”！ 为什么需要 Rerankers？ 在检索领域，排序（Reranking）可是个至关重要的环节。它就像是个“智能筛…- 0
- 0
-
RAGFlow开源Star量破万，是时候思考下RAG的未来是什么了
搜索技术是计算机科学中最难的技术挑战之一，迄今只有很少一部分商业化产品可以把这个问题解决得很好。大多数商品并不需要很强的搜索，因为这和用户体验并没有直接关系。然而，随着 LLM 的爆炸性增长，每家使用 LLM 的公司都需要内置一个强大的检索系统，才能使得 LLM 可以真正为企业用起来，这就是 RAG （基于检索增强的内容生成）—— 通过搜索内部信息给 LLM 提供与用户提问最相关的内容，来帮助 L…- 3
- 0
-
GraphRAG 结合 LLM 生成知识图谱和图机器学习技术，有望改变与大型数据集互动方式
AI 或许即将成为知识获取的主要途径，但是理解海量非结构化信息对于大家来说依然是一个巨大的挑战，不过最近微软开源了 GraphRAG 的代码 - https://github.com/microsoft/graphrag ，正在试图解决这个问题。那么，GraphRAG 的运行原理是什么呢？GraphRAG 的核心在于对传统 RAG 的改进。传统 RAG 通过在查询处理中提供相关上下文信息来提升大语…- 2
- 0
-
再揭秘Graph RAG-面向实际场景的实现逻辑
1.面向实际场景的实现逻辑GraphRAG不仅提供了一种强大的文本分析工具，而且通过其知识模型和工作流程的灵活性和可配置性，能够适应不同的应用场景和用户需求。GraphRAG知识模型和默认配置工作流程可以总结为以下几个核心逻辑步骤，以实现文本数据的高效处理和知识提取：索引数据流图形化知识模型（GraphRAG Knowledge Model）定义: 符合数据模型定义的数据输出规范。位置: 定义在G…- 4
- 0
-
RankRAG：基于排序增强的单一LLM问答生成框架
英伟达提出了 RankRAG 框架，该框架通过指令微调单个大型语言模型，使其同时具备上下文排序和答案生成的能力，从而提升检索增强生成任务的效率。 论文介绍 Retrieval-augmented generation (RAG) 已成为增强大型语言模型 (LLM) 的一项关键技术，使其能够处理专业知识、提供当前信息并适应特定领域，而无需改变模型权重。然而，当前的 RAG 流程面临着重大挑战。LLM…- 2
- 0
-
RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架
在需要大量事实知识的文本生成任务中，RAG成为了常用的LLM部署技巧。但佐治亚理工学院和英伟达最近发表的一篇论文提出——RAG可以不止停留在用于推理的pipeline中，类似的思路完全可以移植到微调阶段，于是有了这个名为RankRAG的框架。论文地址：https://arxiv.org/abs/2407.02485他们的思路可以概括为：用微调拓展模型的能力，把原来RAG需要额外模型的检索、排名任务…- 0
- 0
-
GraphRAG：引领大语言模型新时代的灯塔
在人工智能领域，大语言模型（LLM）正如同璀璨的明星，照亮了前行的道路。这些模型凭借其强大的语言生成与理解能力，已经渗透到我们生活的方方面面，从智能助手到自动写作，从语音识别到情感分析，无所不能。然而，随着应用的深入，我们也遇到了前所未有的挑战。当面对涉及私有或未见过的文档的问题时，LLM往往显得力不从心。此外，当遇到需要整合多信息点、提供全新见解的全局性问题时，传统RAG方法在全面性和多样性上的…- 1
- 0
-
用 10 行 Python 从头实现 RAG – 无需框架！
创建一个简单的文档聊天系统：基础知识和实现步骤。Hi，这里是Aitrainee，欢迎阅读本期新文章。在这里我会告诉你如何用10行代码实现一个完整的文档聊天系统，这一切都在Python中完成，不使用任何框架如LangChain、LamaIndex或向量存储如Chroma。首先，我们来看一下这个系统是如何工作的。RAG，或者说检索增强生成，其实是个老概念，就是从文档中提取信息。你需要一个知识库或一堆文…- 1
- 0
-
高级检索增强生成（RAG）：从理论到 LlamaIndex 实现
如何通过在 Python 中实现高级 RAG 技术解决简单 RAG 管道的局限性Naive 和 Advanced RAG 的区别（作者原创图片，灵感来自[1]）一项关于检索增强生成（RAG）的最新调查[1]总结了最近发展的三种范式：•简单 RAG,•高级 RAG,•模块化 RAG。高级 RAG 范式包含一组针对简单 RAG 已知局限性的技术。本文首先讨论这些技术，这些技术可以分为检索前、检索中和检…- 2
- 0
-
RAGFlow 正式进入 Agentic 时代
从 0.8 版本开始，RAGFlow 后端提供了完整的基于图的任务编排框架，并且在前端支持无代码方式编辑任务和工作流，正式步入Agentic 时代。为什么要实现这一功能，跟一些已有的工作流编排有什么不同？要回答这些问题，首先需要来谈谈 RAG 和 Agent 之间的关系。假如没有 RAG，那么 LLM 只具备有限的访问私有化数据的能力（利用长上下文），很多企业级必备的功能，是无法组装成 Agent…- 1
- 0
-
一周涨8000 star！RAG技术迎来大升级，速度关注
之前我们聊到过RAG，它是目前非常常用的增强大模型能力的技术，通过检索增强生成（RAG），大型语言模型能够从外部知识源检索信息，从而回答涉及私有或未见文档的问题。今天我们分享的开源项目，它是RAG技术的最新发展，可以大幅提升当前RAG的能力，它就是：GraphRAGGraphRAG 是什么GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据…- 1
- 0
-
长语境RAG突破：LongRAG如何颠覆传统问答，开启智能检索新篇章？
在传统的RAG框架中，基本的检索单元通常是短的。像DPR这样的常见检索器通常使用100个词的维基百科段落。这样的设计迫使检索器在大型语料库中搜索“针”单元。相比之下，阅读器只需要从这些短的检索单元中提取答案。这种不平衡的“重”检索器和“轻”阅读器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由一个“长检索器”和一个“长阅读器”组成。LongRAG将整个维基百科处理…- 1
- 0
-
使用FastGPT实现本地焊接知识库“带图”回答
01前言最近一直在打磨自己的焊接本地知识库和RAG问答，LLM的回答时而惊艳，时而气人，总的来说还是蛮有意思的。不过时间长了，慢慢觉得答案有点单调，原因很简单，就是无图！02方法在B站上看到UP主—“崩坏的领航员”提供的方法，就是对知识库动手脚，比如特意添加一条，内容上则是图的相关信息或者标题，然后在辅助数据中按照MARKDOWN的规则，将图片的URL写进去，这样在问答时，URL就会作为答案进行输…- 1
- 0
-
微软发布GraphRAG，碾压朴素RAG！
全文长度：3035字预计阅读时间：10分钟Introduction7 月 2 日，微软发布了GraphRAG，这是一种基于图的检索增强生成（RAG）方法，能在私有或以前未见过的数据集中进行问答。这个项目在 GitHub 上发布后，迅速获得了2700 颗 star！检索增强生成（RAG）是一种根据用户查询语句搜索信息，并利用搜索结果作为 AI 参考生成回答的技术。这项技术是许多基于大语言模型（LLM…- 0
- 0
-
GraphRAG实战：突破传统RAG的界限，把PDF转换成为Prompt可优化的数据集
早就不是抄一段代码就能搞流量的时代了，还是要干点实事。比如，最新的GraphRAG代码，微软是7月2号放出来的，我是19个小时后注意到的，当时想找个周末好好研究一下。「GraphRAG」不到一周的时间，就已经到了7K Star，这，足以说明一些问题。GarphRAG的论文是4月底发表的，当时微软的CTO（第三作者）也一起出来谈这个事，我就注意到了这有可能是一个非常前沿的技术。当时还没有下面的代码（…- 2
- 0
-
3K star！为RAG而生的数据清洗神器
现在的AI时代，人工智能和大模型的能力很大程度上依赖于数据的质量，但是 数据具有不同的形状和大小，因此处理数据非常具有挑战性。今天我们分享一个开源项目，它为微调或者RAG而生，将任何非结构化数据转换为结构化，它就是：OmniParse OmniParse 是什么OmniParse 是一个平台，它可以提取和解析任何非结构化数据，将其转换为针对 GenAI…- 0
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×