-
赛尔笔记 | 大模型上下文长度扩展中的检索增强技术简述
背景介绍基于Transformer的语言模型在众多自然语言处理任务上都取得了十分优异的成绩，在一些任务上已经达到SOTA的效果。但是，经过预训练后，模型能够较好处理的序列长度就固定下来。而当前的众多场景往往需要处理很长的上下文（如：大的代码仓库、书籍等长文档的摘要、few-shot等输入较长的in-context learning场景等等），其长度超过了模型预训练时使用的长度，无法一次性输入模型，…- 2
- 0
-
【RAG】FoRAG：面向网络增强型长形式问答的事实性优化RAG
一、解决问题在基于网络的长形式问答（Web-enhanced Long-form Question Answering, LFQA）任务中，现有RAG在生成答案时存在的问题：事实性不足：研究表明，现有系统生成的答案中只有大约一半的陈述能够完全得到检索到的参考资料的支持，这严重影响了这些系统的可信度。清晰逻辑的缺失：与短答案的传统问答任务不同，LFQA任务中理想的答案往往需要多方面组织和整合信息，但…- 0
- 0
-
-
综合指南！RAG赋能Transformers打造可定制大型语言模型！
01。概述近年来，自然语言处理（NLP）领域经历了翻天覆地的变化，这主要得益于像Transformers这样的复杂语言模型的快速发展。在这场技术革新的浪潮中，检索增强生成（RAG）技术以其前沿特性，显著提升了语言模型的性能。RAG通过将检索机制与生成模型相融合，打造出了既灵活定制又高效准确的语言模型。接下来，我们将深入探讨RAG如何助力Transformers构建个性化的大型语言模型（LLMs），…- 4
- 0
-
PlanRAG: 决策增强生成模型——利用大型语言模型进行复杂数据分析的决策
一、结论写在前面项目链接：https: //github.com/myeon9h/PlanRAG 论文标题：PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers论文链接：https://arxiv.org/pdf…- 2
- 0
-
RAG、ROG、RCG傻傻分不清？概念辨识及RCG在SimplyRetrieve中的naive实现
今天是2024年6月28日，6月最后一个工作日，星期五，北京，天气晴。最近出现了很多新词，与RAG相关。今天，我们来看2个问题，一个关于RAG，ROG，RCG到底是什么？目前流行造词，很多词语的概念，我们都并不清楚，可以来看看；另一个就是，既然RCG被宣称的那么清晰好用，那么对应的具体实现是什么？造词不断，但我们更需要思考这背后的意义是什么？真的有助于技术发展？还是只是为了差异化？或者只是为了宣传…- 1
- 0
-
使用RAGAs评估基于Milvus的RAG应用
现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。我们知道RAG中两个重要的组件：检索器：从外部数据库中检索额外的上下文，以供LLM回答查询。生成器：基于使用检索到的信息增强的提示生成答案。在评估RAG时，我们需要分别评估两个组件以及它们的整体性能，以了解RAG是否仍然需要改进，以及需要在哪里改进。此外，为了评估RAG应用程…- 1
- 0
-
一文读懂基于代理的 RAG – Agentic RAG
Hello folks，我是 Luga，今天我们来聊一下人工智能（AI）生态领域相关的技术 - 基于代理的 RAG 实现- Agentic RAG 。 众所周知，LLM （大型语言模型）的出现彻底改变了我们与信息互动的传统方式，为信息获取和知识学习带来了全新的途径。然而，…- 0
- 0
-
从10万份文档中更快、更准确地找到信息，还能理解语义！试试ElasticSearch+RAG
目前，高效搜索和分析大量文档仍然是一项非常耗时的任务。法律文件更是如此，因为精确性和全面性至关重要。本文将探讨如何使用 ElasticSearch 和大模型相关技术检索增强生成（RAG）处理和检索超过10万份德语法律文档的信息。（编者注：Elasticsearch 是一个开源的全文搜索引擎，其每个字段均可被索引，可以在极短的时间内存储、搜索和分析TB级数据）处理海量文本的挑战法律文件非常复杂，包含…- 0
- 0
-
基于 Gemini 和 NebulaGraph 构建知识图谱问答系统
图数据库和知识图谱是管理图结构数据（包括节点（实体）和边（关系））的两大主流方案。图数据库利用基于图的数据模型存储信息，支持通过专用的图查询语言实现对图数据的查询和遍历；知识图谱通过整合推理和派生新知识的机制，增强了图数据库的功能。这种增强的表达力不仅让你能进行更高级的数据分析，还能从图中相互连接的数据点中提取洞察力。本文将简要介绍知识图谱，再探讨使用 llamaindex 和 NebulaGra…- 1
- 0
-
【RAG论文】通过HyDE提升检索效果
paper：https://arxiv.org/pdf/2212.10496code：https://github.com/texttron/hyde这篇文章主要做zero-shot场景下的稠密检索，通过借助LLM的力量不需要Relevance Labels，开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法，即“假设”文档嵌入。具体的做法是通过G…- 0
- 0
-
文本分块哪家强？LumberChunker、语义分块、段落级、循环分块、HyDE、命题级
检索增强生成（RAG）系统通过将模型生成与上下文相关文档相结合来提高信息的准确性，文本内容如何分割成“块（chunk）”对检索质量有显著影响。用于问答实验的RAG Pipeline，一些tricks，混合检索：BM25-Top3、密集检索-Top15，BM25的Top1排在前面，Top2-3排在最后；大模型重排序：如果上下文包含六个或更多块，从中间点开始反转块的顺序。LumberChunker方法…- 1
- 0
-
当RAG遇上PDF表格，如何构建索引并使用大模型进行QA
在处理非结构化文档时，特别是那些包含复杂表格的文档，一直是信息抽取和知识图谱构建的一大难题。随着人工智能技术的飞速发展，尤其是大型语言模型（LLM）的广泛应用，为我们提供了一种全新的视角和方法来应对这一挑战。下面我们简单了解RAG（Retrieval-Augmented Generation）流程，探讨如何在遇到PDF表格时，构建有效的索引，并利用大模型进行高质量的问答（QA）。RAG与PDF表格…- 0
- 0
-
RAG已死？不，是Grep回归了！
关注腾讯云开发者，一手技术干货提前解锁👇这一年“RAG 已死”的说法甚嚣尘上，比如《长上下文窗口、Agent 崛起，RAG 已死？》、《The RAG Obituary: Killed by Agents》。而像 Claude Code、Codex 这类新一代 Agent CLI 也纷纷放弃了 embedding，官方直接承认：不建索引、不用向量库，靠 LLM 驱动 Grep 就够用。RAG 真的…- 2
- 0
-
RAG技术在搜索引擎中是如何应用的
在信息爆炸的时代，搜索引擎已成为我们获取知识和解答疑惑的重要工具。然而，传统的搜索方式常常无法精准满足我们的复杂需求。如今，RAG 技术的出现为搜索引擎带来了革命性的变革。RAG（Retrieval Augmented Generation）技术是一种结合了检索模型和生成模型的技术，它通过从数据源中检索信息来辅助大语言模型（LLM）生成答案。RAG技术在搜索引擎中有哪些应用方面？在搜索引擎中，RA…- 1
- 0
-
使用Kernel Memory进行RAG评估：AI助力企业知识管理新突破
在现代企业知识管理中，随着业务的不断发展和扩展，各种文档和数据呈现爆炸式增长。为了有效且高效地管理这些知识，企业通常会导入大量文档。然而，当涉及到对文档切片质量和回答准确度的判断时，传统的人工方法显得既费时又费力。既然我们已经在使用AI技术，那么能否让AI来接管这部分工作？答案是肯定的，这正是RAG评估…- 1
- 0
-
大模型RAG问答中的文档分段策略回顾：兼并看LumberChunker动态分块思想
今天是2024年6月27日，星期四，北京，天气晴。今天我们主要看RAG中很重要的问题，即文档分段，先来看看文档分段的现有几个思路，然后看看基于大模型进行动态分块的LumberChunker思想供大家一起参考，问题都很有趣。问题1:文档分段的现有几个思路回顾昨天，我们谈了句子分段，我们再来回顾一下段落的分段方法，目前已经有其他方案，图来自于：https://www.rungalileo.io/blo…- 1
- 0
-
【深入浅出RAG】让 GPU 飞起来，LangChain & NVIDIA NIM 打造最强 RAG
大约一年半前，OpenAI 发布了 ChatGPT，真正开启了生成式AI时代。自此以后，我们见证了各种行业和企业对该技术的快速增长及广泛应用。随着企业将注意力从原型制作LLM（大型语言模型）应用转向生产化部署，它们通常希望从第三方模型服务转向自我托管解决方案。我们看到许多人在这一转变中遇到困难，这也是LangChain对集成全新NVIDIA NIM推理微服务感到兴奋的原因。1. 什么是 NVIDI…- 1
- 0
-
Jina又开源：用于Agentic RAG的Jina Reranker v2，支持多语言、函数调用和代码搜索！
Jina Reranker v2来了！Agentic RAG一流的重新排序器。具有100多种语言的跨语言检索、函数调用、表格与代码搜索和极速响应，已在huggingface开源：多语言：在100多种语言中提供更相关的搜索结果，性能超过bge-reranker-v2-m3； Agentic：为Agentic RAG提供最先进的函数调用和文本到SQL重排； 代码检索：在代码检索任务…- 1
- 0
-
如何选择合适的 Embedding 模型？
检索增强生成（RAG）是生成式 AI （GenAI）中的一类应用，支持使用自己的数据来增强 LLM 模型（如 ChatGPT）的知识。RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。1文本数据：MTEB 排行榜HuggingFace 的 …- 2
- 0
-
LongRAG：长检索单元增强LLM问答能力
滑铁卢大学的研究人员开发了一种名为LongRAG的新型人工智能框架，该框架结合了长文本检索单元和长上下文大型语言模型，以提高检索增强生成系统的效率和准确性。 论文介绍 Retrieval-Augmented Generation (RAG) 方法通过从庞大的语料库中检索外部知识来增强大型语言模型 (LLM) 的能力。这种方法对于开放域问答特别有用，在开放域问答中，详细而准确的答案至关重要。通过利用…- 1
- 0
-
高级 RAG 02：揭秘 PDF 解析
对于 RAG（Retrieval-Augmented Generation，检索增强生成）来说，从文档中提取信息是一个不可避免的步骤。确保从源文档中有效提取内容对于提高最终的输出质量至关重要。在实施 RAG 时，不应低估这一过程。在解析过程中信息提取不佳可能导致对 PDF 文件中所含信息的理解和利用受限。RAG 中解析过程的位置如图 1 所示：图1在实际工作中，非结构化数据比结构化数据要丰富得多。…- 1
- 0
-
解读 Graph RAG：从大规模文档中发现规律，找到相互关系，速度更快，信息更全面！
通过检索增强生成（RAG）技术，从而让大模型调用外部知识源（比如个人和公司保存的大量文档）回答问题。但是当回答针对整个文本语料库的全局性问题，如“数据集中的主要主题是什么？”，RAG却无能为力。因为这类问题本质上是查询聚焦摘要（QFS）任务，而非一个明确的检索任务。怎么办呢？微软提出的知识图谱RAG（以下使用：Graph RAG）技术，能够将复杂的、大规模文本数据集转化为易于理解和操作的知识结构，…- 1
- 0
-
Modelscope-Agent 增强RAG能力：（一）多策略召回、多模态召回
01背景Modelscope-Agent（https://github.com/modelscope/modelscope-agent）是魔搭GPTs 开源的实现方案的底层框架，基于chatbot允许用户通过聊天、直接配置的方式进行agent的定制生成，可以允许用户使用自定义知识库以及接入多工具的能力。于此同时，Modelscope-Agent当前支持的知识库功能存在：可读文件类型有限、效果不稳定…- 1
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×