-
IM-RAG：解锁AI内心独白，多轮检索增强生成新突破！
尽管检索增强生成（Retrieval-Augmented Generation, RAG）方法能够利用外部知识和大型语言模型（Large Language Models, LLMs）输出来增强生成质量，从而减少幻觉和应对静态知识库的局限性，但其在应用中仍面临多项挑战：例如，与不同能力的信息检索（Information Retrieval, IR）系统集成的灵活性有限、多轮检索的可解释性不足、以及缺…- 11
- 0
-
基于Agent的金融问答系统：RAG检索模块初建成
前言我们在上一章《【项目实战】基于Agent的金融问答系统之项目简介》中简单介绍了项目背景以及数据集情况，本章将介绍RAG模块的实现。功能列表参考之前所学内容《大模型之初识RAG》，我们需要实现如下功能：• 向量库的基础功能• 连接向量库• 数据入库• 文件导入• PDF文件的读取• PDF文件的切分• 调用向量库接口入库•&n…- 0
- 0
-
又快又准的RAG Meta-Chunking，1.3倍提升，耗时减半
RAG效果在很大程度上依赖于检索到的文档的相关性和准确性。传统的基于规则或语义相似性的文本分块方法在捕捉句子间微妙的逻辑关系上存在不足。RAG流水线的概览，以及基于规则、相似性和PPL分割的示例。相同的背景色表示位于同一个块中。 为了解决现有方法的局限性，提出了一种名为Meta-Chunking的概念，它在句子和段落之间定义了一种粒度：由段落内具有深层语言逻辑联系的句子集合组成，旨在增强…- 6
- 0
-
微软研究院新突破：如何让AI在专业领域更靠谱？
01。概述 在人工智能的世界里，大型语言模型（LLMs）就像是瑞士军刀，多才多艺，几乎无所不能。但是，当它们遇到需要特定领域知识的任务时，比如医疗保健、法律和金融，这些万能的模型就显得有些力不从心了。这是为什么呢？因为它们在训练时使用的数据集往往缺乏最新的专业信息，导致它们在回答专业问题时可能会“幻觉”——也就是说，给出的答案可能不准确，甚至是错误的。问题的根源LLMs在处理一般知识时表…- 7
- 0
-
揭秘大模型提升秘诀：RAG系统中的文本分块策略
随着大语言模型（Large Language Models）的迅猛发展，基于检索增强生成（Retrieval-Augmented Generation，RAG）的技术在各种应用场景中展现出了强大的潜力。RAG系统通过将外部知识库中的相关信息检索并结合大模型的生成能力，能够提供更加准确和丰富的回答。在这一过程中，构建高质量的向量数据库是关键步骤，而文本分块策略则直接影响了向量数据库的构建质量和大模型…- 5
- 0
-
通过改进Embedding模型，将你的RAG上下文召回率提高95%
通过改进嵌入模型，将你的RAG上下文召回率提高95%检索增强生成（RAG）是一种将LLM（大型语言模型）集成到商业用例中的突出技术，它允许将专有知识注入LLM中。本文假设您已经了解RAG的相关知识，并希望提高您的RAG准确率。让我们简要回顾一下这个过程。RAG模型包括两个主要步骤：检索和生成。在检索步骤中，涉及多个子步骤，包括将上下文文本转换为向量、索引上下文向量、检索用户查询的上下文向量以及重新…- 6
- 0
-
ThinkRAG开源！笔记本电脑可运行的本地知识库大模型检索增强生成系统
ThinkRAG 大模型检索增强生成系统，可以轻松部署在笔记本电脑上，实现本地知识库智能问答。该系统基于 LlamaIndex 和 Streamlit 构建，针对国内用户在模型选择、文本处理等诸多领域进行了优化。1. 项目地址ThinkRAG 在Github开源，使用 MIT 协议。你可以通过以下网址或点击“阅读原文”，获取代码和文档，在笔记本电脑上运行和使用。https://github.com…- 1
- 0
-
深入RAG：知识密集型NLP任务的解决方案
在当今知识密集型任务日益增多的时代，如何有效地利用外部知识来增强语言模型的生成能力成为了一个重要的研究方向。RAG技术应运而生，通过从外部记忆源中检索相关信息，RAG不仅提高了模型生成的精准性和相关性，还解决了大型语言模型在数据隐私、实时数据处理和幻觉问题等方面的局限。本文将详细介绍RAG的工作原理、应用场景、限制及挑战，帮助读者更好地理解和应用这一前沿技术。什么是RAG?RAG（Retrieva…- 7
- 0
-
GraphRAG太贵? 港大打造LightRAG，让大模型RAG问答成本降低几十倍
近期，香港大学黄超团队提出了一种新的大模型 RAG 范式——LightRAG。这是一种简单快速的检索增强生成（RAG）系统，显著降低了与大语言模型（LLMs）相关的成本。LightRAG 通过图结构有效捕捉和表示实体间的复杂关系，采用双层检索范式，实现低层与高层信息的高效整合。此外，LightRAG 还具备快速适应动态数据变化的能力，能够及时整合新信息。摘要检索增强生成（RAG）系统通过整合外部知…- 5
- 0
-
MemoryScope：为LLM提供强大且灵活的长期记忆能力
在人工智能领域，聊天机器人的智能化程度一直是衡量其性能的重要指标。随着技术的发展，用户对聊天机器人的期望也在不断提高。他们不再满足于简单的问答式交互，而是希望机器人能够记住他们的习惯、偏好，甚至情感状态，从而提供更加个性化和连贯的交互体验。MemoryScope正是为了满足这一需求而设计的长期记忆系统，它为大型语言模型（LLM）聊天机器人提供了记忆能力，使其能够记住用户的信息，从而提供更加贴心的服…- 10
- 0
-
优化RAG系统的四种工程化手段
检索增强生成（RAG）是一种人工智能框架，旨在利用大语言模型（LLM）进行跨外部知识源的自然语言查询。RAG的核心思想是通过外挂知识库的方式给大模型提供更可靠的知识来抑制模型产生幻觉，通过定期迭代知识库的方式就能解决大模型知识更新慢和训练成本高的问题。在实践RAG的过程中，企业会发现RAG走通很容易，但实际落地生产的难度非常大。RAG链路可拆分为三个部分：数据准备、知识检索和答案生成。为了使RAG…- 6
- 0
-
DB-GPT V0.6.1 版本更新：RAG 能力更强，新增 RAG 召回和 Agent 答案评测功能
DB-GPT 全新升级 V0.6.1版本了！在这个版本中，我们引入了一系列创新特性，包括GraphRAG三元组检索、新增RAG召回和Agent答案评测功能，以及对OceanBase向量数据库的新版本的兼容性支持。让我们一起来看看这些新特性吧～新特性1、GraphRAG 三元组检索 + 文档结构检索新版本在原社区摘要增强的GraphRAG基础上，引入了文档结构（Document Structure）…- 7
- 0
-
MemoryScope：为LLM聊天机器人配备的长期记忆系统
01前言记忆连接着人的过去与现在，塑造着人的身份和经验。每个人的记忆都是独一无二的，记忆存储着经历和知识，帮助人类不断提升与突破自我。如果在生活工作中，能有一个AI助手能像朋友一样，记住我们的喜好、习惯，甚至是微小的细节，提高工作效率必不在话下。面对当下RAG（ Retrieval-Augmented Generation）与各类Memory Management框架蓬勃发展的景象，构建一个既强大…- 5
- 0
-
LightRAG：创新双级检索系统，整合图形结构，实现更强大信息检索！
检索增强生成（RAG）系统通过集成外部知识源，提升了大型语言模型（LLMs）的准确性和上下文相关性。然而，现有的RAG方法仍存在明显的不足，包括对平面数据表示的依赖和对复杂上下文的处理能力不足，这常常导致回答碎片化，无法捕捉信息之间的深层关系。为了解决这些问题，我们推出了LightRAG。这一创新框架将图形结构引入文本索引和信息检索过程，采用双级检索系统，提升了从低级和高级知识发现中获取综合信息的…- 6
- 0
-
AI领域的新突破：混合RAG系统提升复杂推理能力
致敬不凡，致敬平凡|原标题：A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning| 链接：https://arxiv.org/pdf/2408.05141| 日期：2 Sep 2024核心概述这本主要介绍了一种增强的混合检索增强生成（RAG）系统，通过改进网页中的文本块和表格、添加属性预测器以减少…- 1
- 0
-
o1推理扩展的风吹到了RAG，性能飙升58.9%！
以往的研究主要集中在通过增加检索文档的数量或长度来扩展检索增强生成（RAG）中检索到的知识。然而，仅增加知识量而不提供进一步的指导存在一定的局限性。为此，Google DeepMind研究了RAG在推理计算扩展（Inference Scaling）情况下的性能，特别是当上下文很长时。通过应用最优配置，在长上下文LLMs上扩展推理计算可以实现高达58.9%的性能提升。用于RAG的推理扩展策略为了衡量…- 5
- 0
-
语义分块真的有效吗？
最近看到一篇有意思的论文《Is Semantic Chunking Worth the Computational Cost?[1]》，论文探讨了在检索增强型生成（Retrieval-Augmented Generation, RAG）系统中，语义分块（semantic chunking）与传统固定大小分块（fixed-size chunking）的效率和性能比较。语义分块旨在通过将文档分割成语义…- 5
- 0
-
突破传统RAG局限：GraphRAG如何提升大模型问答能力？
大模型存在不可避免的幻觉问题，这正是RAG（检索增强生成）发挥作用的地方。RAG通过连接外部数据源，将事实型知识引入大模型。但是，传统基于向量的RAG仍有其局限性，传统RAG是将数据分解成文本块，并独立检索这些片段，这可能导致遗漏信息片段之间的关系，缺乏全局视角。GraphRAG是一种正在兴起的RAG技术，利用知识图谱来表示数据和元数据，同时还可以将文本或节点嵌入到图中。GraphRAG通过将知识…- 7
- 0
-
打造自己的RAG解析大模型：(可商用)智能文档分析解决方案！
在上一篇文章中，我们成功将文本识别、表格识别和版面识别模型串联，实现了对PDF文档的全面解析。然而，随着技术的飞速发展，文档智能解析领域迎来了更加创新的解决方案。近日，百度发布了PP-ChatOCRv3，基于数据融合技术，提供了OCR模型的二次开发功能，大幅提升了模型的微调能力。该技术将百万级高质量的通用OCR数据与垂直领域的模型训练数据按特定比例融合，解决了传统行业模型训练过程中，通用文本识别能…- 13
- 0
-
记忆力的本质就是注意力，AI框架带给我的启发，深刻解析记忆的神秘过程
记忆力不好的人，通常注意力也不咋地，记忆力和注意力有没有什么关系？如何才能记得更加高效？人为什么没有三岁前的记忆？如果你了解过记忆的一些研究，应该会接触过一种叫记忆曲线的图，随着时间的推移人们会遗忘记忆中的知识和事实。有句老话叫时间会淡化一切，说的就是这个道理。知道了记忆曲线这个概念，有规律地去回顾那些记忆项，就能把记忆保留得更久。同时，我们仍然需要了解记忆的本质。记忆的本质是什么？我们从大模型词…- 4
- 0
-
深度测评 RAG 应用评估框架：指标最全面的 RAGas
大家常说 RAG 应用是：一周出 demo，半年用不好。那么怎么评估 RAG 应用是否能够上生产了呢？如果公司人手足够，当然可以人工测试评估准确性，但指标未免单一。本文介绍一个全自动化的 rag 应用评估框架 ragas。RAGas（RAG Assessment)[1]RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括…- 5
- 0
-
-
RAG(Retrieval-Augmented Generation)评测：评估LLM中的幻觉现象
Retrieval-Augmented Generation (RAG) 系统依然是当前很热门的话题，虽然当前RAG技术有了很大的进步，有很多专业的框架（RAG（Retrieval Augmented Generation）及衍生框架：CRAG、Self-RAG与HyDe的深入探讨），也有很多创新的思路Retrieval-Augmented Generation (RAG 检索增强生成) 创新切块…- 6
- 0
-
一文梳理RAG（检索增强生成）的现状与挑战
一 RAG简介大模型相较于过去的语言模型具备更加强大的能力，但在实际应用中，例如在准确性、知识更新速度和答案透明度方面，仍存在不少问题，比如典型的幻觉现象。因此，检索增强生成 (Retrieval-Augmented Generation, RAG) 被当作于大模型应用开发的一种新范式。RAG是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息，然后再让模型根据这些信息进行总结归纳，这样便…- 5
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×