-
认识GraphRAG、理论结合案例剖析
背景一、引言1.1 GraphRAG 是什么1.2 GraphRAG 能做什么1.3 GraphRAG 预期用途1.4 GraphRAG 示例效果二、技术原理2.1. 索引第一步：拆分文本块2.2. 索引第二步：解析出元素实例2.3. 索引第三步：总结元素摘要2.4. 索引第四步：检测出图社区（community）2.5. 索引第五步：总结社区摘要2.6.1 索引查询：全局搜索2.6.2 索引查询…- 5
- 0
-
深度解析RAG技术在大模型时代的原理与实践
RAG的概念QCon北京2024上涉及了很多大模型应用落地场景，出现比较多的应用模式关键词是：AI Agent和RAG（RAG也常被在Agent的Cot或是Mutil-Agent协作的流程中）。上篇针对AI Agent有过初步讲解，那什么是RAG？本文将结合Qcon的见闻，基于RAG的核心组件、RAG的常见范式，RAG的应用场景及RAG的评估，介绍当前各大公司使用RAG进行相应应用落地实践情况。0…- 8
- 0
-
一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？
点击上方蓝字关注我们GraphRAG是一种基于知识图谱的检索增强生成（RAG）应用，不同于传统基于向量检索的RAG应用，其允许进行更深层、更细致与上下文感知的检索，从而帮助获得更高质量的输出。 我们已经用几篇文章演示过GraphRAG应用的基本创建与使用过程（基于Langchain/LlamaIndex，以及Microsoft GraphRAG框架）。那么什么时候应该使用GraphRAG，而什么时…- 6
- 0
-
企业级RAG应用优化大全【下】：检索与生成阶段的8个必知技巧
点击上方蓝字关注我们在上篇中（企业级RAG应用优化大全【上】：数据索引阶段的8个必知技巧），我们对企业级RAG应用在数据索引阶段的常见优化方法做了总结。本篇将专注到RAG应用在检索与生成阶段的优化： 使用查询重写提高检索的精确性 用语义路由来分发请求 使用高级检索机制 用检索后处理来丰富上下文 选择合适的LLM 优化你的响应生成模式 用Agent（智能体）的思想优化RAG 在上线前评估你的RAG系…- 5
- 0
-
基于RAG的智能知识问答探索企业知识边界
信息时代到来，企业积累的数字文档知识数量巨大，文档中蕴含的信息对业务发展至关重要，与企业相关的数据价值难以估量。企业利用好现有资源，将企业资源合理配置，将数据串联，产生更大的效益，这才是企业最需要的。然而，传统的搜索技术常常因只能进行关键字查询而无法满足对文档深层次理解的需求。因此需要建立一个面向企业级知识管理的智能问答，对知识进行统一管理，通过精准的信息检索加上严格的权限控制，帮助企业内部员工挖…- 3
- 0
-
长文本分块的新策略——后期分块（Late Chunking），让RAG应用”又准又高效”
你是否曾经为了在海量文档中找到关键信息而苦恼不已?在AI时代,这个问题似乎已经不再是难题。但是,当我们面对特别长的文本时,检索系统往往会陷入两难:要么牺牲精确度,要么付出高昂的成本。最近,JinaAI提出了一个叫后期分块(Late Chunking)[1]的新方法,声称可以解决这个难题。今天,我们就来一探究竟,看看这个新技术到底有什么神奇之处。后期分块:颠覆传统的新思路想象一下,你在整理一大堆文件…- 10
- 0
-
轻松上手GraphRAG源码，手把手教你怎样给GraphRAG增加流式输出
在我的LLM项目开发过程中，第一个遇到的需求就是实现流式输出。这个功能可以减少用户的等待时间，从而提升用户体验。不过，目前作为一个演示项目，GraphRAG还没有支持流式输出。因此，我将带领大家实现这个流式输出功能。我们的目标不仅是添加新功能，更重要的是通过这个过程，加深你对GraphRAG源码的理解。命令行添加streaming参数GraphRAG在graphrag/query/main.py文…- 12
- 0
-
为什么RAG应用很难落地？细说RAG系统开发关键痛点和解决方案
受 Barnett 等人所著的《Seven Failure Points When Engineering a Retrieval Augmented Generation System》一文启发，本文将探讨其中提到的几个关键问题。更重要的是，我们将深入探讨如何应对这些 RAG 系统中的挑战，以便在日常开发中更好地解决这些问题。格式错误当我们告诉计算机以某种特定格式（比如表格或JSON）来整理信息…- 5
- 0
-
最近爆火的GraphRAG是什么，真的能用于商业应用吗？
GraphRag解决了什么问题在朴素的RAG（自我检索生成模型）中，我们使用一个向量库作为我们的知识库。当用户提出查询时，该系统从向量库中匹配顶部K个元素作为上下文，并将这个上下文与提示和查询一起交给大型语言模型(LLM)进行回答。现在，让我们假设这个向量库是指向企业知识的。有两个示例查询:xx产品的价格是多少？去年技术团队的成果有哪些？对于第一个问题，由于它是非常具体的，知识库的搜索可能会找到相…- 4
- 0
-
大模型RAG实战｜如何优化对网页信息的处理
ThinkRAG大模型RAG实战系列文章，带你深入探索使用LlamaIndex框架，构建本地大模型知识库问答系统。本系列涵盖知识库管理、检索优化、模型本地部署等主题，通过代码与实例，讲解如何打造生产级系统，实现本地知识库的快速检索与智能问答。LLamaIndex提供了众多数据装载器（Loader）。我们最常用的是SimpleDirectoryReader，用于加载各种PDF、DOCX文件或整个文件…- 11
- 0
-
RAG文本切分LV3：轻松定制Markdown切分
之前介绍了文本切分五个层级，本文方法是第三个层次：Level 1: Character Splitting - 简单的字符长度切分Level 2: Recursive Character Text Splitting - 通过分隔符切分，然后递归合并Level 3: Document Specific Splitting&nbs…- 11
- 0
-
【深入浅出RAG】结合LlamaCloud优化Chunksize
在检索增强生成（RAG）系统中，分块大小的选择可以显著影响检索的准确性和系统的整体性能。然而，传统上尝试不同的分块大小一直是一个耗时的过程。本文探讨了分块大小优化相关的挑战，并介绍了LlamaCloud的功能，这些功能有助于简化这一过程。Chunksize实验许多开发者已经找到了在RAG流水线中试验检索参数和提示的方法——调整top-k和问答提示是相对直接的任务，当然对性能有影响。在索引阶段试验参…- 6
- 0
-
如何提升大模型RAG系统的效果？RAG推理增强(二)
“如何提升大模型RAG系统的推理能力，尤其是RAG中的Generation部分，即假定我们已经检索到了Top K的相关文档出来之后，如何排除不相干的信息？如何根据已有信息进行知识推理？”本文试图从几篇paper中提炼几个提升大模型RAG系统推理能力的方法： 强大的基座模型数据构造提升大模型RAG推理能力CoT与RAG相辅相成提升大模型RAG推理能力OODA迭代式推理提升大模型RAG推理…- 7
- 0
-
如何提升大模型RAG系统的效果？RAG框架 and 落地选型 （一）
本文Key Takeaway：RAG整体框架论文证实有用的RAG trick:Query改写PE/HyDE/LLM ReRank工业落地的一些实际选型：意图分流；领域BGE；RAG Fusion；多路召回01背景为什么要写RAG？RAG的各种优化眼花缭乱，公众号、论文都多的看不过来了，需要进行一个梳理，挑点重点能落地的进行尝试。之所以有这么多方式，本质还是因为rag是一个系统，包含非常多的模块所以…- 7
- 0
-
RAG应用过程监控系统选型：LangFuse
Langfuse 是一个开源 LLM 工程平台，可帮助团队协作调试、分析和迭代他们的 LLM 应用程序。1、概述：核心平台功能发展可观察性：检测你的应用并开始将跟踪信息导入 Langfuse（快速入门、跟踪）跟踪应用程序中的所有 LLM 调用和所有其他相关逻辑适用于 Python 和 JS/TS 的异步 SDK@observe()Python 的装饰器OpenAI SDK、Langchain、Ll…- 17
- 0
-
一键安装最新生产环境GraphRAG UI，kotaemon日增1.3KStar霸榜Github
这两天Github上有一个项目火了。可用于生产环境GraphRAG的开源UI项目kotaemon，更新不到两天后已经有6.6KStar，昨日新增1.3KStar已位居Github Trending榜首。周末抽空部署了一下，还挺简单，推荐给大家。可能大家用了一段时间GraphRAG感觉还不错。但很多读者反应，不好部署，也不知该怎么用，那么这个UI界面的GraphRAG或许可以解决这些个问题。我还是用…- 8
- 0
-
最佳实践｜本地跑GraphRAG
为在本地环境中部署GraphRAG，需配置两种模型：一是用于实体提取与摘要的LLM（大型语言模型），二是用于数据向量化的Embedding模型。当前，GraphRAG采用的是OpenAI提供的模型，故部署的核心在于选用兼容OpenAI API标准的模型以实现替代。今天带大家一起沉浸式体验本地运行GraphRAG，并且在支持中文graph构建上做了一些优化改进…- 23
- 0
-
【一图道破】大语言模型中RAG的作用
01什么是RAGRAG，即"Retrieval-Augmented Generation"，检索增强生成，是一种结合了信息检索（Retrieval）和文本生成（Generation）的机器学习模型。简单来说，RAG模型在处理问题时，会先在大量的数据中检索相关信息，然后利用这些信息生成答案或完成特定任务。 一图了解RAG02RAG的原理RAG的流程RAG 就是在大语言模…- 6
- 0
-
Easy-RAG 不只是一个基于知识库搜索增强生成的RAG，还支持AI网络搜索增强生成
Easy-RAG是一个检索增强生成（RAG）系统，旨在提供一种简便的方式来学习和使用RAG技术，并支持用户自主扩展系统功能，之前分享过这个博主自己开源的项目RAG搜索增强生成系统，一个精简的版本，适合学习、使用、自主扩展，感谢大家支持目前已有300+star，最近做了一些更新给大家汇报一下，整体开发还是本着简单，清晰和方便二次开发。 项目地址：https://github.com/y…- 6
- 0
-
英伟达开源OP-RAG，打响RAG翻身仗，超越长上下文模型
今天分享一个英伟达的最新研究，属于是在长上下文阶段为RAG的一次辩护。因为随着长文本LLM的出现，这些模型能处理更长的文本序列，RAG似乎变得不那么重要了。In Defense of RAG in the Era of Long-Context Language Models检索增强生成（RAG）克服了早期LLMs中有限的上下文限制，过去一直是基于上下文的答案生成的可靠解决方案。最近，长上下文LL…- 4
- 0
-
LLM如何结合知识图谱进行RAG
为什么需要知识图谱在20世纪60年代末，数据库技术开始发展，在70年代数据库技术得到了迅猛的发展，成为了计算机科学的一个重要分支。在80年代时关系型数据模型就处于统治地位，而随着关系型数据库使用范围的不断扩大，也暴露出一些他始终无法解决的问题，其中最主要的是数据建模的一些缺陷和问题，以及在补数据量和多服务器上的如何进行伸缩。同时随着互联网的发展也产生了一些新的变化，而传统的关系型数据库就表现的不是…- 7
- 0
-
为了RAG这口醋，包了ModelHub这顿饺子
前言被刷屏的LLM、RAG是什么？本文上半部循序渐进地解释了RAG的前世今生。数禾科技基于RAG打造企业知识库的经验在中间部分不要错过。你是否也面对AI应用的生产挑战？在文章下半部分一起交流模型服务中心（ModelHub）的研发、调研、开发和应用干货。1. 什么是RAG 1.1. 让人右滑退出的概念解释 1.2. 你说的每个字我都认识，但是组合起来怎么就看不懂了呢？在线 等，挺急…- 7
- 0
-
【一文读懂】RAG的重要组成-向量数据库
向量数据库（Vector Database），看似莫测高深的一个名词，在众多AI技术文章中经常出现，那向量数据库究竟是个什么鬼呢？本篇深入浅出，为各位同学介绍一下它的相关知识。 01什么是向量 首先，向量数据库中保存的就是向量数据了，那什么是向量呢？向量是一个数学概念，它可以表示为一个包含多个数值的列表，这些数值（也称为分量）按照一定顺序排列。在不同的上下文中，向量可以用来表示不同的事物。比如在日…- 3
- 0
-
HybridRAG：混合 RAG 引擎 – 知识图谱 + 向量检索！比 GraphRAG 更好！
我们都听说过检索增强生成（RAG），许多人使用 RAG 因为它能够增强语言模型的功能，通过结合检索和生成处理来提高准确性，减少幻觉，并且更加经济高效。过往文章中，我们展示了许多先进的 RAG 框架，例如 GraphRAG 和 RAG Flow，这些框架都在逐月变得更为先进。例如 GraphRAG 使用知识图谱来表示实体和关系，提供了一种结构化的信息检索方法，但它缺乏全面的召回能力。然后，我们还有一…- 10
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×