-
使用RAG技术构建企业级文档问答系统：切分(2)使用Embedding进行语义切分
1 概述以往我们使用的文本切分方式，都是基于特定字符、或者特定长度的，而完全不考虑语义，这未免有点奇怪，而且从实践经验来看，使用特定字符或特定长度的切分方式，导致片段语义不连贯是非常明显的一个问题。langchain-experimental库中有一个SemanticChunker，可以将句子转换为向量，并计算不同向量之间的相似性，来决定是否需要切分，由于向量可以代表句子的语义，因此这样切分也是语…- 7
- 0
-
RAG在智能问答系统中的应用
什么是RAG？ RAG是一种将信息检索与生成模型相结合的混合架构。首先，检索器从外部知识库或文档集中获取与用户查询相关的内容片段；然后，生成器基于这些检索到的内容生成自然语言输出，确保生成的内容既信息丰富，又具备高度的相关性和准确性。RAG 模型由两个主要模块构成：检索器（Retriever）与生成器（Generator）。这两个模块相互配合，确保生成的文本既包含外部的相关知识，又具备自然流畅的语…- 7
- 0
-
CAG能取代RAG吗？别被表面现象迷惑！
近年来，RAG（Retrieval-Augmented Generation，检索增强生成）一直是LLM领域的重要方向。它通过实时检索文档并结合生成模型的能力，为用户提供了动态且准确的答案。然而，最近一篇关于 CAG（Context-Aware Generation）的论文引发了热议。它以 “别用 RAG！” 的挑衅性标题（原文标题是《Don’t Do RAG: WhenCache-A…- 9
- 0
-
Agentic AI 系统设计：第四部分 数据获取和 Agent RAG
到目前为止，我们已经讨论了 Agent 系统架构，如何将系统组织成子Agent以及如何构建统一机制来标准化通信。今天，我们将把注意力转向工具层以及代理系统设计中你需要考虑的最重要的方面之一：数据检索。数据检索与Agent RAG有可能创建不需要数据检索的Agent系统。这是因为有些任务仅使用你的语言模型所训练的知识就可以完成。例如，你很可能能够创建一个有效的Agent来撰写关于历史事件（如罗马帝国…- 7
- 0
-
3.7K Star！GraphRAG不香了~
RAG技术通过外部检索系统为大型语言模型（LLMs）提供领域特定知识，有效减少了答案幻觉现象，但在多跳和跨段落任务中仍存在不足，尤其是在需要逻辑推理的专业领域，如法律、医学和科学等。KAG在多跳问答任务中显著优于现有RAG方法，在HotpotQA和2wiki数据集上的F1分数分别提高了19.6%和33.5%KAG解决的问题KAG框架通过充分利用知识图谱（KG）和向量检索的优势，从五个关键方面双向增…- 4
- 0
-
分块的艺术：提升 RAG 效果的关键
聪明人往往很“懒”，但这种“懒”其实是高效的体现。他们总能找到解决复杂问题的最佳路径，用最少的力气获得最大的成果。在RAG系统中，这种高效的实现往往是通过“分块”来实现的。你可以把它想象成把一本厚书分成几章——这样一来，阅读和理解就轻松多了。同样地，分块技术把大段复杂的文本拆分成更小、更容易处理的片段，让AI能更快、更准确地理解和处理信息。不过，在深入探讨分块之前，咱们得先聊聊它背后的“大框架”—…- 7
- 0
-
从RAG到RAG+：让大模型更懂业务的权威指南
每当我向非技术背景的朋友解释大语言模型时，我常常用"博学但缺乏实践经验的应届生"作比喻。这些模型确实掌握了海量的知识，但在特定领域的实际应用中，常常会暴露出"经验不足"的问题。就像一位刚毕业的法学生，虽然能流畅地背诵法条，但面对真实的案件时可能会觉得无从下手。微软亚洲研究院的研究团队近期发布的这篇综述，正是致力于解决这个"经验不足"的问题…- 5
- 0
-
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
1、引言由于目前比较火的chatGPT是预训练模型，而训练一个大模型是需要较长时间（参数越多学习时间越长，保守估计一般是几个月，不差钱的可以多用点GPU缩短这个时间），这就导致了它所学习的知识不会是最新的，最新的chatGPT-4o只能基于2023年6月之前的数据进行回答，距离目前已经快一年的时间，如果想让GPT基于近一年的时间回复问题，就需要RAG（检索增强生成）技术了。此外，对于公司内部的私…- 6
- 0
-
RAG的技术困境：为何单纯依赖向量嵌入不可靠？
在 RAG 系统中，其核心任务是找出那些与查询内容相似度最高的存储信息。然而，向量相似度搜索并不能实现这一点，这也是 RAG 在实际应用中遭遇挫折的原因。01选错了工具RAG 在生产环境中的失败，归咎于使用了向量嵌入来衡量信息的相似度，这显然不是一个恰当的选择。我们可以通过一个简单的例子来说明这一点。假设有三个词汇：King（国王）Queen（王后）Ruler（统治者）“国王”和“统治者”可能指的…- 5
- 0
-
Cache-Augmented Generation（CAG）：一种更快、更简单的RAG替代方案
随着人工智能（AI）技术的不断进步，知识密集型任务在AI应用中变得越来越核心。这些任务要求AI系统能够无缝地整合和利用外部信息，以提供更加准确和有用的回答。为了实现这一目标，检索增强生成（Retrieval-Augmented Generation，RAG）技术应运而生，它通过将外部知识与大型语言模型（Large Language Models，LLMs）相结合，显著提升了模型的性能。然而，RAG…- 7
- 0
-
搭建RAG架构，如何选择向量数据库产品？
搭建RAG架构应用时，选择合适的向量数据库是关键。向量数据库是RAG系统的核心组件，负责存储和检索高维向量数据，从而支持高效的语义搜索和信息检索功能。那么今天与大家分享下如何选择向量数据库，以及主流向量数据库产品的推荐，供您参考学习。如何选择向量数据库？性能与延迟：向量数据库需要在召回率（即相关结果的比例）和响应时间之间进行权衡，对于实时应用程序，如对话式AI，延迟和吞吐量的需求尤为重要，因为性能…- 7
- 0
-
搭建RAG应用，Embedding模型如何选？
在搭建RAG系统时，选择合适的Embedding模型是至关重要的一步，下面是我对选择Embedding模型时需要考虑的关键因素和建议，供您参考：明确应用场景首先，需要明确RAG系统的具体应用场景和需求。例如，是处理文本数据、图像数据还是多模态数据？不同的数据类型可能需要不同的Embedding模型。例如，对于文本数据，可以参考HuggingFace的MTEB（Massive Text Embedd…- 8
- 0
-
EdgeRAG: 检索增强生成的新篇章，开启边缘智能新时代
今天分享的是一种面向边缘设备的检索增强生成方法：EdgeRAG。论文链接: https://arxiv.org/pdf/2412.21023简介随着大型语言模型 (LLM) 和检索增强生成 (RAG) 技术的兴起，将它们部署在资源受限的边缘设备上成为一项挑战，因为边缘设备的内存和计算能力有限。传统的 RAG 系统需要将整个嵌入向量数据库加载到内存中，这在边缘设备上是不现实的，会导致内存抖动和性能下…- 5
- 0
-
抛弃 RAG！缓存增强生成或成知识任务新宠
在自然语言处理领域，检索增强生成（RAG）一直是增强语言模型能力的热门方法，但它存在检索延迟、文档选择错误和系统复杂等问题。今天要给大家介绍的这篇论文 “Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks” 提出了一种新的范式 —— 缓存增强生成（CAG），为知识任务提供了更高效的解决方…- 10
- 0
-
案例解析：RAG的尽头是Agent
AI进化论：从RAG到Agent，智能体如何重塑未来世界©作者|Blaze来源|神州问学引言随着ChatGPT、ChatGPT-4等的发布，我们彻底被大模型（LLM）的魅力所征服，越来越多的公司和企业开始聚焦大模型技术的研发和使用，为我们的日常生活带来了极大的便利。但是，大模型同样面临着时效性、准确性等各种问题，如何让LLM变得更好？如何解决LLM所面临的挑战？如何构建高级的LLM应用？逐渐成为A…- 9
- 0
-
关于RAG你不得不了解的17个技巧
最近在写文章，想补上去年RAG（Retrieval-Augmented Generation）遗留的一些坑，希望能分享一些RAG的技巧帮到大家。还是那句老话：构建一个大模型的原型很容易，但把它变成一个能真正投入生产的产品却很难。这篇文章适合那些在过去一个月里刚刚构建了第一个LLM（大语言模型）应用程序，并开始考虑如何将其产品化的朋友们。我们将介绍17种技术，帮助你们避免在RAG开发过程中重复踩坑—…- 6
- 0
-
LLM 幻觉：现象剖析、影响与应对策略
当下大语言模型（LLM）如 ChatGPT 等已广泛应用于各个领域，从日常聊天到专业的医疗、法律和科研辅助等。然而，LLM 的幻觉现象却如影随形，给其应用带来了诸多挑战和潜在风险。深入理解 LLM 幻觉的类型、成因、影响以及应对策略，对于推动 AI 技术的健康发展至关重要。今天我们一起了解一下LLM幻觉。一、LLM幻觉的多样奇观LLM幻觉（基于验证链（Chain of Verification）的…- 5
- 0
-
解锁Agentic RAG，使用LangChain和OpenAI进行实践
Agentic RAG技术是一种新兴的智能体驱动解决方案，能够应对复杂的多文档问答挑战。这项技术通过智能化手段，不仅提升了我们处理文本数据的效率，还极大地增强了问答系统的准确性和深度。本文带大家来了解这项技术，阐述其如何提升信息检索和分析的效率与准确性。1 Agentic RAG简介Agentic RAG是由智能体驱动的技术，能够灵活处理多文档问答任务。这项技术不仅能比较文档、总结内容，还能对多个…- 5
- 0
-
RAG(检索增强生成)系统实践与调优
在人工智能领域，检索增强生成（Retrieval Augmented Generation, RAG）是一种结合信息检索和生成式人工智能的技术，它通过从外部数据源中检索相关信息，来辅助大语言模型（Large Language Model, LLM）生成更为准确、上下文相关的答案。1什么是RAG 检索增强生成（Retrieval Augmented Generation, …- 3
- 0
-
RAG，看这一篇就够了！
点击蓝字关注我们近年来，人工智能取得了巨大的飞跃，这主要归功于大型语言模型（LLMs）。LLMs非常擅长理解和生成类似人类的文本，它们促成了多种新工具的创建，比如先进的聊天机器人和AI作家。尽管LLMs在生成流畅且类似人类的文本方面表现出色，但它们有时在事实准确性上存在困难。当准确性非常重要时，这可能是一个巨大的问题。那么，这个问题的解决方案是什么呢？答案是检索增强型生成（RAG）系统。RAG集成…- 4
- 0
-
CoW帮我成为时间管理大师后，被封号了
我的微信机器人挂了，用chatgpt-on-wechat项目，这个项目使用的itchat接入微信，这个项目果然很容易被查啊。 1、又双叒叕忘了事情经常被客户支配的打工人一定有过同样的感受： ↑生成的界面图，非真实发生，但是也差不多。到达约定时间的时候才想起来有这么回事，免不了要道歉+赶工。 为了拯救自己被工作掏空的身体， 以前用的记录日程工具，得在记录的时候打开APP、填写内容、选择时间，做一堆操…- 7
- 0
-
IBM推出文档处理利器Docling，基于LangChain打造RAG应用
Docling 携手 LangChain 打造高效 RAG 系统。人工智能应用持续发展，对文档信息的有效处理、理解与检索提出了更高要求。大语言模型虽已在诸多领域发挥重要作用，但在文档处理方面仍有提升空间。本文详细阐述如何整合Docling 和 LangChain，创建检索增强生成（RAG）系统，以突破局限，为大语言模型赋能，提升其处理文档信息的能力。1 Docling：IBM打造的文档处理神器Do…- 5
- 0
-
GraphRAG：基于知识图谱的RAG，好用，贼贵！
在往期文章中，我们探讨了RAG的应用。然而，在实际使用过程中，我们发现传统RAG的表现并未完全满足预期（例如：在处理数据时，使用默认效果不佳，切片乱七八糟。因此需要花费很大精力去处理数据，比如编写文档时统一规范、使用一些工具/脚本对数据源进行预处理和清洗，这些比起AI本身的价值更大）。为解决传统RAG的局限性，一种基于图结构的RAG应用应运而生，它被称为GraphRAG。本篇文章，我们就来探索Gr…- 3
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×