-
数据库文档问答的应用和演化
导读 PingCAP 的 AILab 项目人力投入不超过三人，因此本文将以小团队视角，分享如何利用 RAG 方法高效构建各种 RAG 应用。今天的介绍会围绕下面四点展开：1. 较大规模文档的业务挑战2. RAG 技术落地实践和演化过程3. 前沿介绍4. Q&A分享嘉宾｜李粒 PingCAP PM 编辑整理｜王吉东内容校对｜李瑶出品…- 5
- 0
-
5.3K+ Star！llmware：一个构建企业级RAG管道的统一框架
llmware 简介llmware[1] 提供了一个统一的框架，用于构建基于大型语言模型（LLM）的应用，例如RAG（Retrieval-Augmented Generation）和多步骤代理工作流（Agent）。它使用小型、专门的模型，这些模型可以私有部署，安全地与企业知识源集成，并针对任何业务流程进行成本效益的调整和适应。项目特点主要特点RAG管道：集成组件，负责从知识源连接到生成性AI模型的…- 4
- 0
-
论文解读：迄今为止最好的 RAG 技术栈
概述这篇文章深入探讨了 Wang 等人在 2024 年的研究，旨在为构建高效的检索增强生成（RAG）系统提供最佳实践建议。文章由 Towards AI 的联合创始人兼 CTO Louis-Francois 撰写，分析了 RAG 系统的核心组件与策略。主要内容摘要查询分类：通过分类任务决定是否需要进行检索，确保系统只在必要时检索外部数据。数据分块：为数据选择合适的块大小至关重要，理想的块大小在 25…- 7
- 0
-
多文档RAG｜一个结构化数据提取工具：Knowledge Table
多文档提取和检索是一项艰巨的任务。将信息以结构化的方式进行映射以便于检索，其实比听起来要复杂得多。构建适用于多个文档的 RAG 系统尤为困难，尤其是当你希望确保 LLMs 返回的答案具有一定的细粒度，而不仅仅是QFS(查询聚焦摘要)任务时。为解决这一问题，找到一个基于表格的多文档提取和图谱创建工具：KnowledgeTable。点关注不迷路介绍 KnowledgeTable(知识表)Knowled…- 6
- 0
-
颠覆RAG性能！揭秘多头RAG的强大优化秘诀
尽管经典的检索增强生成（RAG）通过将检索到的文档纳入大型语言模型（LLM）的上下文中来提供更准确和相关的响应，从而增强了模型的功能，但它在处理多样化内容查询时表现出局限性。此类查询在实际应用中非常常见，尤其是在需要从截然不同的多个信息源中获取答案时，RAG方案往往难以应对。这是因为这些文档的嵌入在嵌入空间中可能相距较远，传统的检索方法很难同时准确捕获所有相关内容，导致查询结果不够全面或准确。尤其…- 1
- 0
-
RAG/LLM 和 PDF：增强文本提取
在LLM（大型语言模型）应用程序的RAG（检索增强生成）场景中提取PDF文本变得越来越重要。认识到虽然文本“数据”仍然是大预言模型的主要原材料，但文本的上下文及其通过表格、图像或图形的视觉表示也变得越来越重要。PyMuPDF能够从PDF （和其他文档格式）中提取文本、表格、图像、矢量图形等。然后，您可以将此文本转换为各种格式，例如 JSON、CSV、Excel、纯文本、HTML 或 XML。PyM…- 5
- 0
-
FixAgent: 基于多 Agent 交互的自动 debug 应用框架
本文是由香港中文大学、伊利诺伊大学联合发表。该文提出的 FixAgent 框架通过 LLM 代理的协同作用的方式，能够一站式完成漏洞的定位、修复和分析。有效提升模型 20% debug 能力。FixAgent: A Unified Debugging Approach via LLM-Based Multi-Agent SynergyFixAgent: 基于多 Agent 交互的自动 debug …- 81
- 0
-
使用RAG技术构建企业级文档问答系统：检索优化(8)Step-Back Prompting
1 概述Step-Back Prompting是Google DeepMind团队在论文Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models中提出的一种Prompt技术。跟CoT要解决的问题类似，本质上都是In-Context Learning，区别在于CoT是让LLM将求解步骤分开，不要一次输出所…- 4
- 0
-
三个最新RAG前沿思路分解：从Astute RAG减少检索噪声到Retriever-and-Memory自适应检索迭代生成
今天是2024年10月17日，星期四，北京，天气阴。来回顾下昨日大模型早报，社区日常互动，欢迎加入。我们来看看最近的三个RAG进展，包括Astute RAG、StructRAG、Retriever-and-Memory等几个工作，有些思路很有趣，可看看。供大家一起参考并思考。一、Astute RAG减少检索噪声不太好的检索结果可能引入无关、误导甚至恶意信息；LLMs内部知识与外部知识之间的潜在冲突…- 3
- 0
-
RAG技术深度优化：三大策略帮你打造智能回答新高度
近年来，检索增强生成（Retrieval-Augmented Generation，RAG）技术在自然语言处理领域取得了显著发展。RAG通过将检索（Retrieval）与生成（Generation）相结合，能够有效解决开放领域问答中的信息缺失和答案不准确的问题。然而，为了让RAG在实际应用中更加有效，提升生成答案的准确性仍是研究重点。本文将结合理论与实践，详细探讨如何从知识内容、生成能力、检索能力…- 1
- 0
-
使用RAG技术构建企业级文档问答系统：检索优化(10)上下文压缩
1 概述检索阶段面临的一个挑战是，通常你无法预知你的文档存储系统在处理数据时会面临哪些具体的query。这意味着，对于一个query来说，最相关的信息可能被埋没在包含大量无关文本的文档中。如果你将整个文档传递给LLM，可能会导致更昂贵的调用开销，以及响应质量的下降。这其实与上一节介绍的一样，都是信息被稀释的问题。上下文压缩（Contextual compression）技术尝试解决这一问题，想法非…- 4
- 0
-
探索DB-GPT V0.6.0：构建智能数据助手应用开发指南
亲爱的读者朋友们，今天我们将带您深入了解DB-GPT V0.6.0的最新功能——构建一个数据助手类应用；让我们一起探索如何通过DB-GPT，将复杂的数据处理和智能问答变得触手可及！目标概览构建你的数据助手应用，包含以下三个方面的能力：1.根据文档进行智能问题2.根据数据库进行数据对话3.根据工具插件进行互联网搜索这三类能力，可以基于DB-GPT提供的意图识别的能力，在一个对话中使用。数据助手会根据…- 3
- 0
-
深度解读GraphRAG：如何通过知识图谱提升 RAG 系统
01.RAG 简介与 RAG 面临的挑战检索增强生成（Retrieval Augmented Generation，RAG）是一种连接外部数据源以增强大语言模型（LLM）输出质量的技术。这种技术帮助 LLM 访问私有数据或特定领域的数据，并解决幻觉问题。因此，RAG 已被广泛用于许多通用的生成式 AI（GenAI）应用中，如 AI 聊天机器人和推荐系统。一个基本的 RAG 通常集成了一个向量数据库…- 5
- 0
-
LightRAG为什么好用又便宜
LightRAG最近挺火，它将图谱结构整合到文本索引和检索过程中，解决了传统RAG系统在处理复杂实体关系和上下文连贯性方面的不足。这听上去很熟悉，和GraphRAG很像。但LightRAG屌在哪里呢？有两个地方：- 双层检索结构，底层提取细分实体，高层提取整体关系- 增量更新算法，不需要更新整个索引先说第一点：举个例子，我想知道，苹果的营养价值是什么？这一步LightRAG和GraphR…- 21
- 0
-
EfficientRAG：多跳问题回答的高效检索器
今天分享的是一篇由南京大学与微软联合发布的文章：EfficientRAG:多跳问题回答的高效检索器论文链接: https://arxiv.org/pdf/2408.04259代码链接: https://github.com/NIL-zhuang/EfficientRAG-official摘要在处理复杂问题（如多跳查询）时，检索增强生成（RAG）方法往往面临挑战。尽管迭代检索技术通过收集额外信息来提…- 7
- 0
-
【RAG】aiops第一名方案-EasyRAG：自动网络运营的高效检索增强生成框架
来看一个RAG比赛方案，提出了一个名为EasyRAG的框架，用于自动化网络操作的检索增强生成。该框架旨在解决网络操作中信息检索和生成效率低、准确性差的问题。研究难点包括：如何在保证准确性的前提下提高检索和生成的效率；如何实现简单快速的部署；如何在推理过程中显著减少延迟。比赛地址：competition.aiops-challenge.com方法整体包含两部分，数据处理工作流和RAG工作流数据处理工…- 8
- 0
-
RAG工程如何评测？
本篇主要讲RAG工程的评测方法。本篇属于RAG系列，上一篇整理了RAG的基础，没看过的小伙伴也可以参考~本篇来继续介绍RAG工程如何评测。下面是一个快捷目录。一、RAG评估方法二、RAG 的关键指标和能力三、RAG的评估框架 一、RAG评估方法有两种方法评估RAG：独立评估和端到端1. 独立评估独立评估就是对检索模块和生成模型分布评估。1）检索模块评估RAG检索模块性能的指标主…- 8
- 0
-
一文说透微软GraphRAG的理论与实践
今年，微软开源了自主研发的Microsoft GraghRag，犹如一枚重磅炸弹，给市场带来了非常大的反响。开源后不到半年，Github上就获得了18k的star，增长迅猛。在这篇文章中，风叔就详细拆解一下微软GraphRag的原理，并结合源代码，观察实际运行效果。微软GraphRAG的原理微软GraphRag的原理并不复杂，下面的一张图即可解释清楚。首先，我们仍然需要从多个原始知识文档构建知识图…- 10
- 0
-
使用Qwen千问大模型和LangChain打造RAG应用
使用Qwen千问大模型和LangChain框架构建高效的RAG系统，从海量数据中提取信息并生成精确回应。检索增强型生成（RAG）技术的出现，让AI不仅能够生成类人文本，还能实时整合相关信息，提供既丰富又精确的回应。本文带大家了解如何使用Qwen千问大模型和LangChain框架来构建一个高效的RAG系统。包括导入必要的库和安全地管理敏感信息，比如API密钥。让我们开始搭建这个系统的基础。1 环境搭…- 17
- 0
-
长上下文 LLMs 兴起，RAG 会成为历史吗？
目录01 RAG 与长上下文 LLMs 的对比分析02 学术界最新研究成果 2.1 Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? 2.2 RAG vs. Long Context:…- 4
- 0
-
孙悟空 + 红楼梦 – 西游记 = ？一文搞懂什么是向量嵌入
一起来开个脑洞，如果孙悟空穿越到红楼梦的世界，他会成为谁？贾宝玉，林黛玉，还是薛宝钗？这看似一道文学题，但是我们不妨用数学方法来求解：孙悟空 + 红楼梦 - 西游记 = ？文字也能做运算？当然不行，但是把文字转换成数字之后，就可以用来计算了。而这个过程，叫做 “向量嵌入”。为什么要做向量嵌入？因为具有语义意义的数据，比如文本或者图像，人可以分辨相关程度，但是无法量化，更不能计算。比如，对于一组词“…- 2
- 0
-
大模型RAG实战｜基于LlamaIndex的大模型应用架构设计
LlamaIndex是一个专为构建大模型RAG应用开发的数据框架。基于这个框架，我们可以加载文档和网页，优化对其中非结构化数据的处理，使用文本转换高级提取管道，从而构建企业级知识库；然后，采用BM25检索和向量检索实现混合检索方法，获取准确有用的信息，发送给大模型生成回答，并实现类ChatGPT的流式输出。以上，是《大模型RAG实战》系列文章已经涵盖的主题。现在，我们要构建一个生产级的大模型RAG…- 17
- 0
-
微软graphRag调研
GraphRAG 是一种结构化的、分层的检索增强生成 （RAG） 方法，与使用纯文本片段的朴素语义搜索方法相反。GraphRAG 过程涉及从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，然后在执行基于 RAG 的任务时利用这些结构。至于安装和快速入门，这里就不介绍了，详情可以查看下面链接。GraphRag快速开始：https://microsoft.github.io/graphr…- 2
- 0
-
RIG，Google 最新推出的RAG 替代方案
上个月，Google 在 Huggingface[1] 和 Kaggle[2] 上开源了两个新模型：datagemma-rag-27b-it 和 datagemma-rig-27b-it。其中新提出的 RIG（Retrieval Interleaved Generation）检索交错生成，提供了 LLM 与外部数据库交互的新思路…- 5
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×