-
RAG预处理增强：让Fastgpt/Dify召回更多东西
目前的Fastgpt，Dify(或者其他同类产品)，目前知识库召回的本质上还是分片块的文本，召回的还是文本信息。不过，我们可以进行一些预处理，提升其召回精度的同时，使其也能同时召回图片与公式表格等内容。01原理以及实现我已经将下文提到的所有预处理方法加到pdfdeal包里啦(需要0.2.4或更高版本)，从PYPI上直接下载使用吧：pip install --upgrade&nb…- 5
- 0
-
数据隐私与RAG：如何在保护隐私的同时与数据库对话（Text2SQL）。
01。概述 在数字化时代，数据隐私成为了企业最关心的问题之一。尤其是在实现检索增强生成（RAG）解决方案时，如何在不暴露敏感数据的前提下与数据库进行对话，成为了一个技术挑战。本文将探讨一种新方法，即使用LangChain、OpenAI的语言模型和SQLAlchemy，在保护数据隐私的同时实现与数据库的智能对话。02。核心技术检索增强生成（RAG）：一种结合信息检索和文本生成的AI框架，通…- 3
- 0
-
【RAG】FastEmbed：一种轻量的快速文本嵌入工具
前言在进行文本嵌入时，尤其是RAG系统，有一个快速高效的文本嵌入工具是非常有必要的。因此，FastEmbed设计目标是提升计算效率，同时保持嵌入表示的质量。此外，FastEmbed还支持一些图像嵌入模型。特点：高效的计算速度，适合大规模数据处理；使用ONNX Runtime实现最优性能。低资源消耗，适用于多种设备和环境。FastEmbed刻意减少了对外部资源的依赖，并选择了ONNX Runtime…- 7
- 0
-
RAG优化神器：rerankers重新排名模型的终极方案，提供轻量级统一API
在基于检索的生成（Retrieval-Augmented Generation, RAG）系统中，Reranker 是用于提升检索文档质量的一个关键组件。首先，我们来分解一下 Reranker 的定义及其必要性。什么是 Reranker？Reranker 是对初步检索出的候选文档集进行重新排序的模型或算法。它在初始检索（通常基于简单的匹配算法，如 TF-IDF、BM25 或 Dense Embed…- 7
- 0
-
graphRAG后的triplex、itext2KG与nano-graphRAG对比介绍
引言 书接上回，自微软的graphRAG推出后，RAG便开始分为了两条道路，一条是以显式检索为基座，对其提高召回与长记忆模块来尽可能达到概括关联的能力，而另一条则是根据大模型提取KG元组的关系来提升QFS（Query-Focused Summarization）任务的能力，相对而言，前者依然是百花齐放，因为技术难度较低，有比较完整的道路，每个月都有十几篇我没看也不想看的RAG…- 3
- 0
-
HybridRAG｜传统RAG集成GraphRAG的初步方案
现有知识库属于传统意义上的RAG应用。近期领导和同事最常问的问题就是："GraphRAG调研怎么样了？"、"什么时候应该使用 GraphRAG ？"、"什么场景下应该使用传统RAG？"、"知识库使用的是传统RAG，如何与GraphRAG相结合呢？"。为了系统地解答这些问题，我做了…- 3
- 0
-
RAG只是开始，Agentic App是未来
RAG只是开始RAG技术通过检索相关信息并生成回答，为构建知识助手Application提供了基础。包括数据处理、索引、检索和提示。基础RAG的局限性：指出了基础RAG在数据处理、检索接口、查询理解和规划、功能调用或工具使用、状态记忆等方面的不足。如何建设更好的知识助手App在RAG的基础上，强调高质量数据和检索、复杂输入的Agent推理、Agent决策制定和输出生成高质量数据和检索强调任何LLM…- 3
- 0
-
MedGraphRAG 是医疗领域人工智能的彻底变革者
深入探讨 RAG、GraphRAG 和 MedGraphRAG 的工作原理，以及它们如何显著提升 LLM 在医学领域的响应性能。LLM（大语言模型）已经改变了人类在日常任务中搜索信息的方式。尽管 LLM 在一般场景中表现良好，但在处理医学、法律、金融等专业知识时，LLM 会产生幻觉并提供无关的信息。它们在这些不断更新的领域中也无法提供最新的信息，并且在没有考虑新见解或发现的情况下，给出简单的回应。…- 8
- 0
-
解锁AI力量：RAG向量数据库Milvus，专为智能应用而生！
Milvus 是一个专为 AI 应用设计的开源矢量数据库。无论您是从事机器学习、深度学习，还是其他任何与人工智能相关的项目，Milvus 都能为您提供一种强大且高效的方法来处理大规模的矢量数据。现在，通过将模型模块集成到 PyMilvus（Milvus 的 Python SDK）中，添加嵌入和重新排序模型变得更加容易。这种集成简化了将数据转换为可搜索向量或对结果重新排序的过程，从而获得更准确的结果…- 5
- 0
-
谈一谈向量嵌入（Vector Embeddings）
对于只能处理数字的计算机或者机器来说，区分苹果和梨并不是一件简单的事情。这时候就需要用到向量嵌入（Vector Embeddings）。它可以将文字、图像等数据转化为计算机可以理解和操作的数值表示形式。在有关于 Transformer 工作原理的文章中，我也有提到过向量嵌入的概念，我对它做过一些较为简单的解释。感兴趣可以点击阅读：你知道 GPT 代表什么意思吗？Transformer 架构深度解析…- 4
- 0
-
提升RAG系统的回答质量：高质量文档解析终极干货
在上一篇中，我们探讨了RAG系统的最大优势，即能够将企业内的各种文档知识快速转换为知识库，无需对接企业内部系统，并能够基于这些知识库，借助大模型快速打造AI助理。同时，我们也指出了企业内部文档种类繁多、形式多样的现实问题，并确定文档解析是RAG系统的最大挑战之一。在这一篇中，我们将继续深入探讨，寻找应对这一挑战的最佳文档解析方案。为什么RAG系统重点解析PDF？在RAG系统中，PDF文档成为重点解…- 4
- 0
-
如何为大模型挑选”高质量”数据?【上】
摘要大型语言模型取得成功的一个主要因素是使用了大量不断增长的文本数据集进行无监督预训练。然而，简单地在所有可用数据上训练模型可能并不是最优的（或可行的），因为可用文本数据的质量可能各不相同。过滤掉数据还可以通过减少所需的训练量来降低训练模型的成本。数据选择方法旨在优化训练数据的选择和采样，改进这些方法可以显著提高模型性能。然而，由于深度学习研究主要依赖实证证据，大规模数据实验成本高昂，只有少数机构…- 7
- 0
-
大模型面经——以医疗领域为例，整理RAG基础与实际应用中的痛点
RAG相关理论知识与经验整理。谈到大模型在各垂直领域中的应用，一定离不开RAG，本系列开始分享一些RAG相关使用经验，可以帮助大家在效果不理想的时候找到方向排查或者优化。本系列以医疗领域为例，用面试题的形式讲解RAG相关知识，开始RAG系列的分享~本篇主要是理论知识与经验；后续会结合最新的优化方法给出详细的优化代码，和实践中衍生的思考。下面是本篇的快捷目录。1. RAG思路2. RAG中的prom…- 5
- 0
-
不要将你的 RAG 知识库限制在文本上
在构建知识库时，一个常见的挑战是将所有内容转换为纯文本。在处理幻灯片、PDF、图像等媒体源时，这可能会有限制。那么，我们如何充分利用非纯文本的数据呢？得益于最近的AI进展，现在变得比以往任何时候都更容易和便宜。通过使用具有视觉能力的大型语言模型（LLMs），我们可以转录成千上万的图像，不仅捕捉文本，还理解内容之间的关系。这些模型甚至可以在需要时描述图像中的视觉对象，提供比OCR更丰富、更详细的转录…- 5
- 0
-
使用RAG技术构建企业级文档问答系统：检索优化(5) 常用Rerank对比
1 概述熟悉搜推的小伙伴可能知道，搜推中也有个叫Rerank的，因为在Rerank前面，一般还有粗排、精排，而RAG中就一个排序模型，怎么就是Rerank了呢。这是因为在RAG中，检索阶段一般只有Embedding一路召回，多的时候也只不过是稀疏+稠密的RRF集成，因此检索结果无论如何都是有顺序的，也就是说已经是排过序的了，所以此处的再次排序，叫Rerank。既然都是排序，加Rerank的意义在哪…- 6
- 0
-
大语言模型的”续航力”大比拼 – 长文本RAG任务下的性能揭秘
检索增强生成 (RAG) 是使用最广泛的生成式 AI 应用之一。RAG 通过从外部来源（如非结构化文档或结构化数据）检索信息，来提升大语言模型 (LLM) 的准确性。随着拥有更长上下文长度的 LLM（例如 Anthropic Claude（200k 上下文长度）、GPT-4-turbo（128k 上下文长度）和 Google Gemini 1.5 pro（200 万上下文长度））的出现，开发者可以…- 5
- 0
-
使用千帆完全免费的大模型，去构建Graph RAG，效果如何？
先简单说下 RAG 和 Graph RAG的区别。以把小说作为知识库为例。RAG，会把小说分块，然后把每块向量化，之后用户提问，根据提问的问题，找到最相似的分块，最后把这些分块，发送给AI模型，最后，AI模型给出答案。Graph RAG，会把小说中，拆分出节点和边。节点，可以理解为是一个人物，如：主角。边，可以理解为，节点和节点间的关系，用来连接节点。然后，找到最相似的节点，遍历这个节点…- 2
- 0
-
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！?在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将…- 5
- 0
-
大型语言模型使用令人惊讶的简单机制来检索存储的知识
大型语言模型,例如为流行的人工智能聊天机器人ChatGPT提供支持的模型,非常复杂。尽管这些模型正被用作许多领域的工具,如客户支持、代码生成和语言翻译,但科学家们仍然不完全理解它们的工作原理。为了更好地了解内部运作机制,麻省理工学院和其他地方的研究人员研究了这些庞大的机器学习模型在检索存储知识时所使用的机制。他们发现了一个令人惊讶的结果:大型语言模型(LLMs)通常使用一个非常简单的线性函数来恢复…- 7
- 0
-
GraphRAG 让生成式 AI 如虎添翼
我们即将意识到,要想用生成式AI做任何有意义的事情, 你不能仅仅依赖[1] 自回归语言模型[0] 来做决策。我知道你在想什么:"RAG就是答案。"或者是微调,或者是GPT-5。没错。像基于向量的RAG和微调这样的技术可以有所帮助。对某些用例来说,它们已经足够好了。但还有另一类用例,所有这些技术都会遇到瓶颈。基于向量的RAG - 就像微调一样 - 可以提高许多类型问题…- 8
- 0
-
RAG领域出现技术创新，或将引领AI搜索重大变革？
引言最近，PersonaRAG引起我们团队的关注。AI研究者们发布了一篇名为《PersonaRAG: Enhancing Retrieval-Augmented Generation Systems with User-Centric Agents》的论文，其中探讨了名为PersonaRAG的新框架。该框架的目标是通过用户中心化智能体来增强RAG系统，以提高个性化和准确性。这篇文章中，我们将沿着技…- 5
- 0
-
RAG系统的7个检索指标：信息检索任务准确性评估指南
大型语言模型（LLMs）作为一种生成式AI技术，在近两年内获得了显著的关注和应用。但是在实际部署中，LLMs的知识局限性和幻觉问题仍然是一个挑战。检索增强生成（Retrieval Augmented Generation，RAG）通过为LLM提供额外的外部知识和上下文，有效地解决了这些问题。截至2024年RAG已经成为应用生成式AI领域中最具影响力的技术之一。事实上，几乎所有基于LLM的应用都在某…- 3
- 0
-
准确率提升17%！渊亭科技Graph-RAG技术迎来新突破
前言在大数据和人工智能的浪潮中，信息检索技术迎来了飞速发展。RAG（Retrieval-Augmented Generation）技术，作为这一浪潮中的创新成果，通过融合检索与生成技术，优化了搜索结果，使其更精准地满足用户需求。然而，面对海量数据和复杂文档的挑战，传统RAG技术在处理分散信息的整合、全面理解大量数据集或单个大型文档的摘要语义概念方面存在一定的局限性。针对这些限制，微软提出了Grap…- 4
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×