-
工业界Agentic RAG方案-Golden-Retriever
对应下来，离线部分就是基本操作+生成摘要在线部分，传统的RAG流程，就只有红色的一条路径。然后多了一些模块，包括识别术语、确定上下文、查询术语字典、增强问题，最后就是检索文档，生成答案，提示词都在下边。与LLM和普通的RAG方法相比，Golden-Retriever在多个LLM基座上平均提高了57.3%和35.0%的分数。而且，Golden-Retriever还能够有效地识别问题中的缩写，即使这些…- 8
- 0
-
Denser Retriever: RAG中更强大的AI检索器，让您10 分钟内构建聊天机器人应用
一、Denser Retriever 介绍Denser Retriever 是一个企业级的RAG检索器，将多种搜索技术整合到一个平台中。在MTEB数据集上的实验表明，Denser Retriever可以显著提升向量搜索（VS）的基线（snowflake-arctic-embed-m模型, 在MTEB/BEIR排行榜达到了最先进的性能）。它来自Denser.ai公司，创始人是黄志恒，曾担…- 2
- 0
-
高级 RAG 检索策略之查询路由
之前介绍 Self-RAG 的时候提到了其中的按需检索功能，就是根据用户的问题来判断是否需要进行文档检索，如果不需要检索的话则直接返回 LLM（大语言模型）生成的结果，这样不仅可以提升系统的性能，还可以提高用户的体验。在 Self-RAG 中按需检索是通过特殊训练后的 LLM 来实现的，但是在高级 RAG（Retrieval Augmented Generation）检索中我们可以使用查询路由来实…- 3
- 0
-
深入RAG优化：BGE词嵌入全解析与Landmark Embedding新突破
一、Embedding选型建议与结果选型建议：大部分模型的序列长度是 512 tokens。8192 可尝试 tao-8k，1024 可尝试 stella。在专业数据领域上，嵌入模型的表现不如 BM25，但是微调可以大大提升效果。有微调需求且对模型训练了解较少的，建议选择 bge 系列（完善的训练脚本、负例挖掘等）。但多数模型都基于BERT，训练脚本也通用，其他模型也可以参考。重排模型选择很少，推…- 8
- 0
-
向量数据库关键技术及其在电信大模型中的应用
向量数据库的关键技术及其在电信大模型中的应用。首先，讨论了大模型在知识时效性、数据安全性、Token数量限制、幻觉现象和知识局限性等方面的局限，并引入了检索增强生成（RAG）技术以解决这些问题。接着，详细介绍了向量数据库的现状和四种类型，包括原生向量数据库、全文搜索数据库、向量检索库和SQL向量数据库。此外，探讨了几种关键的向量数据库索引和相似度计算算法。最后，介绍了中兴EBASE向量数据库的体系…- 14
- 0
-
一款RAG与LLaMA-3.1-8B相结合的PDF文档分析工具！
01。概述 一款利用检索增强生成（RAG）技术和LLaMA-3.1-8B即时大型语言模型（LLM）的个人助理工具。该工具旨在通过结合机器学习和基于检索的系统，彻底改变PDF文档分析任务。02。RAG架构的起源检索增强生成（RAG）是一种在自然语言处理（NLP）领域具有强大效能的技术，它将基于检索的方法与生成模型相结合，以产生更准确且与上下文相关的输出结果。这一方法最初由Facebook …- 10
- 0
-
GraphRAG + Ollama 本地部署全攻略：避坑实战指南
为什么要对 GraphRAG 本地部署？微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。如果对 GrapRAG 还不太熟悉的同学，可以看我之前写的两篇文章 《微软重磅开源 G…- 4
- 0
-
RAG 2.0，终于让 RAG 正确了！
纵观人工智能行业，我们已经习惯了每天都看到一些东西被“杀死”。当我谈到第 23923 次某件事突然被“杀死”时，我自己有时也会感到尴尬。但很少有案例能像Contextual.ai在他们所谓的“ RAG 2.0 ”中提出的上下文语言模型 (CLM)那样引人注目，它使标准检索增强生成 (RAG)——实现生成式 AI 模型的最流行方法之一（如果不是最流行的话）——过时。这一说法的背后，正是RA…- 5
- 0
-
提升RAG系统效果：揭秘Rewrite技术及其关键优化策略，提高召回率与精确度
关于RAG的优化，前面我们讲过一篇是Rerank的优化，《揭开RAG重排序（Rerankers）和两阶段检索（Two-Stage Retrieval）的神秘面纱》，Rerank优化的目的是通过向量检索返回更多的top K结果，以提高召回率和精确度。今天这篇文章采用另一种优化策略Rewrite，在RAG的链路中，关注点向上移动到重点关注问题本身，查询重写会自动转换查询问题，以便更好地表示搜索者的意图…- 4
- 0
-
再看Medical Graph RAG增强医疗问答方案：兼读RAG中的细粒度引文生成思路
今天是2024年8月10日，星期六，北京，天气晴。最近两天，出现了多个关于RAG相关的工作，很有趣，我们来系统回顾昨日的一些事儿。此外，老刘社区分享一个中文简称词库，文件见社区如上。值得注意的是，社区成员提醒，在少数别有用心的特定提示下，GPT-4o还会发出非常不宜的语音，比如暴力的尖叫和枪声。这些别有用心的特定提示太可怕了，建议强调一下，应用开发中必须得采取严格的措施来过滤，这是非常严肃和重要的…- 6
- 0
-
Multi-Head RAG：复杂问题的RAG召回方案
这个工作要解决个什么问题呢？ RAG 得流程是通过将文档召回，放入LLM的上下文中，来提供更准确和相关的答案。但是现有的 RAG 解决方案可能比较难处理，召回的内容来自完全不同的文档，因为这些文档在语义空间中可能很远，很难将它们全部检索出来。论文中有张图如下图，正常的RAG在遇到query有点复杂的时候，在召回的时候就很麻烦。如果是纯粹的绿点主题或者黄点主题那都没太大问题。但是如果是复杂的多主题的…- 4
- 0
-
深入Microsoft GraphRAG之索引阶段：原理、测试及如何集成到Neo4j图数据库
我们已经了解了基于知识图谱的RAG应用原理，在之前的文章中也演示了如何使用LangChain或者LlamaIndex这样的开发框架构建简单的GraphRAG原型应用。但在实际应用中要将GraphRAG应用投入生产还会面临大量的优化工作，所以一些更专业的GraphRAG工具应运而生，微软公司最近开源的GraphRAG就获得了广泛关注。很多朋友可能在微软的论文中已经了解到GraphRAG的基本思想。尽…- 12
- 0
-
AI大模型RAG：LlamaIndex与Qwen2的检索增强生成技术解析
一、引言在人工智能的浪潮中，大模型技术以其卓越的数据处理和语言理解能力，成为智能化进程的加速器。特别是检索增强生成（RAG）技术，它通过结合检索系统的高效性和生成模型的创造性，为智能问答系统的发展提供了新动力。本文将深入探讨如何利用LlamaIndex和Qwen2，实现RAG技术的快速部署和智能交互。二、概述本文将深入剖析LlamaIndex与Qwen2的结合，探讨如何实现高效的RAG技术，赋予A…- 7
- 0
-
RAG最佳实践：用 ElasticSearch 打造AI搜索系统与RAG 应用全流程详解！
今天这篇文章将介绍如何使用 Elasticsearch 搭建AI搜索系统和RAG应用系统。 Elasticsearch 搭建 AI 搜索系统在 Elasticsearch 中实现向量搜索涉及四个关键组件：嵌入模型：这是一个机器学习模型，能够将数据作为输入并返回该数据的数字表示形式，即向量（也称为“嵌入”）。嵌入模型是整个向量搜索的基础，它将文本、图像等非结构化数据转换为向量表示，以便在向…- 7
- 0
-
看完MindSearch源码，这就是我想要的Agent Plan！
AI Search已经成为大模型落地应用比较热门的一个场景，OpenAI也推出了自家的AI搜索引擎产品SearchGPT，同时也有非常多AI Search项目开源：Felo、OpenPerPlex、AskHackers、OpenSearch GPT等等，应接不暇。其中上周才开源的MindSearch，据称基于LLM的Web搜索引擎Multi-agent框架，类似Perplexity.ai Pro …- 5
- 0
-
RAGflow：开源AI框架的创新与应用
在当今科技飞速发展的时代，人工智能（AI）已经成为各行各业不可或缺的一部分。特别是在文档处理和数据分析领域，AI的应用更是无处不在。今天，我要向大家介绍一个开源的AI框架引擎——RAGflow。它能够在深度文档理解方面执行检索增强生成（Retrieval-Augmented Generation，简称RAG），并且被认为是目前最优秀的RAG框架之一。本文将详细探讨RAGflow的创新功能、技术特点…- 9
- 0
-
一文读懂RAG（检索增强生成）
一、前言近阶段，笔者落地了一个蛮深刻的项目，该项目通过RAG技术成功解决了一些问题。因此计划通过两篇文章跟大家分享有关RAG结合ToB Agent应用的探索与实践。本篇文章，主要关于笔者对RAG（围绕Navie RAG）的些许理解。二、RAG是什么？RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与自然语言生成的技术，通过检索外部知识库增强文本…- 5
- 0
-
用这条Q-Star的prompt让LLM拥有MDP，深思熟虑规划你的复杂推理
人类行为通常可以使用马尔可夫决策过程(MDP)进行有效建模。但处理一些复杂推理时，当面对需要多步推理的问题时，即便是最先进的LLMs也常常力不从心，尤其在进行多步推理时容易产生错误、幻觉和不一致的陈述。这就像一个经验不充分的人在解决复杂问题时，仅仅依靠直觉和快速思考，而没有进行深入的推理和规划。图片来自公众号公共图片库来自Skywork AI和南洋理工大学的研究者提出了提出了Q*，一个通用敏捷的框…- 4
- 0
-
RAG的基石：大语言模型文本向量化能力对比
什么是具象的高维向量空间？也许这是一个，在不同的平行空间里面，对不同的物体有各自的表示...一、概述大家都比较关心大语言模型的能力，但往往容易忽略其向量化（Embedding）的能力。在RAG应用中，对文本进行向量化后再计算向量相似度，如余弦相似度，是文本检索生成的基础和前置环节。如果向量不准确，必定会影响相似度计算，进一步影响招回和重排，甚至知识抽取等下游任务，影响甚大。因而我们需要认真来对待其…- 6
- 0
-
SemanticRAG：如何实现全过程语义检索
浩如烟海的文字，是你宝贵的财富...正文：随着大语言模型的成熟，知识检索、知识问答等RAG应用快速落地，这里面确实有很大的商机。最近，GraphRAG也出来了，得到大家普遍欢迎，甚至被称为RAG2.0，那么LangChain、LlamaIndex等一众先驱是否会成为大家眼中的牛夫人？大家折腾了快一年的向量检索是否又得打水漂？虽然技术发展确实太快，但个人感觉这些技术还不至于被淘汰，向量检索和图（也用…- 5
- 0
-
清华团队发布RAGEval：提升RAG系统性能的利器
【行客按】今天来聊聊一款全新的AI工具——RAGEval。这是由清华大学、北京师范大学、中国科学院大学和东北大学联合开发的开源框架，专门用于评估RAG（检索增强生成）系统在特定场景下的表现。主要创新点1. 迭代查询处理RAGEval引入了迭代查询处理方法，显著提升了信息检索的精确度和可靠性。传统RAG系统通常只能进行一轮查询和生成，这在处理复杂和多步问题时往往不够高效。迭代查询处理的核心在于：多轮…- 8
- 0
-
特定领域的模型微调是否有意义？BioRAG，一个大型 RAG 实际应用案例告诉您
特定领域的模型微调是否有意义？BioRAG，一个大型 RAG 实际应用案例告诉您发布时间：2024 年 08 月 02 日RAGBioRAG: A RAG-LLM Framework for Biological Question Reasoning生命科学领域的问答系统面临快速发现、见解演变及知识实体复杂交互的挑战，需维护全面知识库与精准检索。为此，我们推出 BioRAG，结合大型语言模型的检索…- 4
- 0
-
面向 RAG 应用开发者的实用指南和建议
01.向量搜索并非轻而易举！向量搜索，也称为向量相似性搜索或最近邻搜索，是一种常见于 RAG 应用和信息检索系统中的数据检索技术，用于查找与给定查询向量相似或密切相关的数据。业内通常会宣传该技术在处理大型数据集时非常直观且简单易用。一般来说，您只需将数据输入到 Embedding 模型中生成 Embedding 向量，然后将这些向量存储到向量数据库中即可检索到所需的结果。许多向量数据库厂商通常会使…- 6
- 0
-
映射心智：知识图谱增强检索KGAR
摘要 检索增强生成技术（RAG）一直作为解决现有大型语言模型（LLM）受限于有限的上下文窗口大小和静态知识库问题的方法。然而，许多RAG技术通过检索与查询语义相似的小型文档片段来运行，未能包含更广泛主题或微妙思想的上下文。在这个项目中，我们研究如何利用知识图谱生成结构化信息，以补充检索任务。我们的主要贡献是一个新的RAG框架，结合了多查询向量搜索、知识图谱遍历和总结技术的思想…- 9
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×