-
【RAG】HiQA：一种用于多文档问答的层次化上下文增强RAG
前言文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。方法提出了HiQA框架，用于解决多文…- 10
- 0
-
一分钟了解RAG（检索增强生成）
RAG是一种结合了检索技术和生成式模型的方法，旨在提高大语言模型的准确性和上下文相关性。具体来说，RAG通过从外部知识库中检索相关信息，并将这些信息提供给语言模型，使模型在生成文本时能够参考最新的、最相关的数据，从而减少误导性信息的产生，提高答案的质量。RAG的工作原理：检索阶段：当接收到一个查询或问题时，RAG首先使用检索组件从外部知识库（如互联网上的文档、数据库或其他数据源）中检索相关的信息片…- 41
- 0
-
RAG能力介绍系列（一）：文本向量化
什么是RAG？Retrieval Augmented Generation (RAG)是通过整合外部知识源增强大型语言模型（LLM）的过程。这使得LLM能够生成更准确和上下文感知的答案，同时减少虚构内容。在回答问题或生成文本时，首先从现有的知识库或大量文档中检索相关信息。然后使用LLM生成答案，通过整合这些检索到的信息来提升响应的质量，而不是完全依赖LLM自行生成答案。典型的RAG工作流程如上图所…- 9
- 0
-
大模型RAG不存在了么？
ChatGPT爆火之后，以ChatPDF为首的产品组合掀起了知识库问答的热潮。在过去一整年中，大多数人都在完成RAG系统到高级RAG系统的迭代升级。但是技术发展是迅速的，如何深入了解RAG的发展，做出更好的RAG系统，其实还是非常困难的。大模型爆火后的RAG系统发展，大体可以将其分为3个阶段，初级、高级、超级。初级阶段更多的是搭建起系统的pipeline；高级阶段是在召回生成测修修补补，根据bad…- 5
- 0
-
RAG系统的四层天梯：大模型RAG系统的成长之路
第一章：为什么要给大模型喂"额外营养"？想象一下，你有一个超级智能的AI助手，它几乎无所不知。但当你问它"今天的股市行情如何？"或者"最新的新冠病毒变种有哪些症状？"，它却一脸茫然。这就是大语言模型（LLM）的现状 - 知识广博但不够新鲜。这就是为什么我们需要给LLM喂点"额外营养"，也就是外部数据。这个过程，专业点说…- 6
- 0
-
RAG 中你需要知道的 5 种分块技术
分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。固定大小分块方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。优点：简单、成本效益高。缺点：缺乏上下文意识。改进：使用重叠块，让相邻块共享部分内容。递归分块方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。优点：尊重文档结构，灵活适用于各种场景。基于文…- 4
- 0
-
知识库越大向量检索准确性越低！RAG应用的陷阱
在构建知识库的过程中，我们除了关注内容解析、文本分块层面对RAG性能影响之外，知识库大小会对RAG性能会有什么样的影响呢？AI工具公司EyeLevel.ai的数据科学家Daniel Warfield和前IBM Watson高级工程师Dr. Benjamin Fletcher博士在RAG技术规模化研究过程中发现一个现象：向量搜索的准确性随着数据量的增加而显著下降。他们发现，使用向量数据库进行相似性搜…- 6
- 0
-
打造自己的解析大模型：模型的安装与推理
RAG系统中要快速构建AI助理，首先要高效、准确地建立知识库，而实现这一点的关键便是具备一个功能强大的文档解析器。在上一篇中，我们介绍了PdfParser，本篇将深入讨论该解析器所依赖的模型，以及如何在Windows环境中安装并运行这些模型进行推理。PDF解析的核心流程：OCR处理：这是解析过程的第一步。通过光学字符识别（OCR）技术，将PDF页面中图像形式的内容转换为可处理的文本数据。这一步为后…- 5
- 0
-
微软新综述：大模型RAG系统的4层境界！
Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely使用外部数据增强的大型语言模型 ( LLMs ) 在完成现实世界任务方面表现出了卓越的能力。外部数据不仅增强了模型的特定领域专业知识和时间相关性，而…- 1
- 0
-
深度长文｜红杉观点 – 当心！你的 AI 可能正在被糟糕的文档”喂屎”
在人工智能的浪潮中，我们似乎已经忘记了一个古老而简单的计算机科学原则：垃圾进，垃圾出。当我们为 AI 的神奇能力欢呼雀跃时，却忽视了它最基本的需求——高质量的输入数据。就像一位精明的投资者不会把钱投入到一个管理混乱的公司，我们也不应该期望用劣质数据训练出优秀的 AI 系统。1 引言：AI 的致命弱点想象一下，你刚刚花费数百万美元购买了最先进的 AI 系统，期待它能像克拉纳（…- 4
- 0
-
RAG大升级：上下文数据增强让检索准确率飙升67%！
RAG系统的检索失败率暴跌67%！这不是魔法，而是上下文数据增强的威力。还在为RAG（检索增强生成）系统的检索准确率发愁吗？别担心，"上下文检索"（contextual retrieval）这个新概念可能就是你一直在寻找的解决方案。一年前，这种方法因为成本高昂而被认为不切实际。但现在，随着小型语言模型（SLM）的飞速发展，这个曾经的"天方夜谭"已经变成了触手…- 3
- 0
-
行业落地分享：阿里云搜索RAG应用实践
垂直领域的挑战催生RAG在人工智能领域，垂直领域的挑战不断催生新的技术解决方案。RAG是一种结合检索和生成的深度学习模型，它通过检索大量相关文档，然后基于这些文档生成回答，从而提高回答的准确性和相关性。然而，直接使用大型预训练模型来应对这些挑战并非没有问题。模型通常依赖于海量的通用知识库和语料，这些资源的质量参差不齐，且可能存在安全风险。在知识问答场景中，大模型可能会遇到幻觉问题，即生成看似合理但…- 7
- 0
-
揭秘顶级 RAG 技术，不可错过的关键知识！
什么让 RAG 系统真正成为顶级的呢？组件，对吧？让我们回顾一下最好的组件以及它们的工作原理，这样您也可以使您的 RAG 系统成为顶级系统，并以多模式奖励结束。查询分类分块元数据和混合搜索利用您的元数据！添加标题、关键字甚至假设问题等内容。将其与 Hybrid Search 配对，它结合了向量搜索（用于语义匹配）和用于传统关键字搜索的优秀 BM25，您就是金子。HyDE（生成伪文档以增强检索）很酷…- 6
- 0
-
探索 MemoRAG：下一代检索增强大模型框架的创新与突破
在当今人工智能飞速发展的时代，各种创新的技术不断涌现，为我们的生活和工作带来了巨大的变革。其中，检索增强大模型框架成为了研究的热点领域。今天，我们将深入探讨北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合推出的 MemoRAG，这一具有创新性的下一代检索增强大模型框架，看看它是如何在复杂的信息环境中实现精准信息获取和高效内容生成的。一、MemoRAG 的核心技术模式MemoRAG 提出了一…- 10
- 0
-
检索增强生成 (RAG) 是否会被长上下文 LLMs 杀死？
AI 的创新与领先地位显而易见，没有放缓的迹象。最近，Google 透露了在 Gemini 1.5 大型语言模型（LLM）之后仅仅两个月，这款能够处理高达令人印象深刻的 1000 万个令牌的上下文的最新模型。与此同时，OpenAI 推出了 Sora，这是一个基于文本生成视频的强大模型，以其迷人的视觉效果而闻名。这两项尖端技术的较量引发了对 AI 未来的讨论，尤其是关于检索增强生成 (RAG) 技术…- 4
- 0
-
如何使用多智能体阅读理解系统（MARS）构建企业级AI应用
去年，我撰写了关于高级检索增强生成（RAG）技术在企业中的应用，以及多智能体软件工程（MASE）的兴起。自那时起，作为软件开发中生成AI的两大支柱，这两种技术不断发展，并以一种有望重新定义企业AI应用领域的方式相互交织。AI代理的本质首先，让我们探讨构成AI代理的要素是什么？一些开发者将代理描述为具有推理、行动和记忆能力的自主实体。例如，一个ReACT代理或能够推理和行动的代理。那么，是什么构成了…- 9
- 0
-
RAG实战篇：构建一个最小可行性的Rag系统
前言在《AI大模型实战篇》系列文章中，风叔通过八篇文章，从最经典的ReAct模式开始，沿着规划路线介绍了REWOO、Plan&Execute和LLM Compiler，沿着反思路线介绍了Basic Reflection、Self Discover和Reflexion，并以最强大的设计模式LATS作为收尾。但是，所有的这些设计模式，都只是在告诉AI Agent应该如何规划和思考，且只能依赖于…- 6
- 0
-
Claude 的上下文检索功能提升了 RAG 准确率，这会是人工智能革命？
前言在人工智能领域不断进步的过程中，人们对更准确且具备上下文理解能力的响应的追求，催生了诸多突破性创新。而 Claude 的上下文检索技术就是其中一项进步，有望显著提升检索增强生成 (RAG) 系统的表现。可能有同学就要问了：上下文检索技术是什么？大白话来说，就是现在的AI越来越聪明了，尤其是在回答问题的时候，它可以更好地理解和利用上下文，而不仅仅是“查”到一些零碎的信息。而本篇文章将讲解 Cla…- 6
- 0
-
微软新综述：大模型RAG系统的4层境界！
今天分享这篇很干的文章！通过对RAG系统的用户Query进行难度区分，进而可以将系统划分为4个等级。Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely使用外部数据增强的大型语言模型 ( LLMs )…- 8
- 0
-
斯坦福团队研究：AI生成的科研想法比人类专家更有创意，但无法替代人类
对于大语言模型（Large Language Model，LLM）而言，提出新的想法并不难，真正难的是，提出那些新颖且有价值的想法。如同 Wolfram 所说：“实际上，做出原创性的工作是非常简单的，你只需选择一堆随机数。那些随机数序列非常出人意料、有创意、也很有独创性，但这对我们来说，并没有太大意义，我们真正感兴趣的是那些有原创性而‘有趣’的东西。”毕竟，让用户吃胶水和石头的想法不也是很新颖的吗…- 0
- 0
-
多智能体笔记本专家系统：集成CrewAI、Ollama和自定义Text-to-SQL工具
在这个项目中，我们的目标是创建一个由多智能体架构和本地大语言模型（LLM）驱动的个人笔记本电脑专家系统。该系统将使用一个SQL数据库，包含有关笔记本电脑的全面信息，包括价格、重量和规格。用户可以根据自己的特定需求向系统提问，获取推荐建议。由LLM驱动的多智能体系统旨在自主或半自主地处理复杂问题，这些问题可能对单次LLM响应来说具有挑战性。在我们的案例中，这些系统特别适用于数据库搜索、跨品牌比较笔记…- 7
- 0
-
Speculative RAG：采用投机生成多个草稿方式来增强RAG任务
本次介绍一篇来自Google的paper：<Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting>，提出一个Speculative RAG方法，其核心思路是采用投机生成多个草稿方式来增强RAG任务。对比其他RAG框架，其流程图如下：核心思路：1）先用比较小的模型作为the RAG draft…- 5
- 0
-
Salesforce AI Research 推出新一代 RAG 模型：SFR-RAG
在人工智能领域，生成式 AI 持续受到关注，特别是在检索增强生成（Retrieval Augmented Generation，简称 RAG）方面。Salesforce AI Research 最近发布了他们的最新研究成果——SFR-RAG，这是一个90亿参数的语言模型，专门针对现实世界中的 RAG 应用和相关任务进行了优化。什么是 RAG？RAG 是一种结合了检索和生成的技术，通常应用于问答系统…- 5
- 0
-
MemoRAG：通过受记忆启发的知识发现迈向下一代RAG
今天分享的是一篇由北京人工智能研究院与中国人民大学高瓴人工智能学院联合发布的文章：MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERYMemoRAG：通过受记忆启发的知识发现迈向下一代RAG论文链接: https://arxiv.org/abs/2409.05591代码地址：https://gith…- 4
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×