-
【RAG】一种新颖的Agentic RAG系统，Golden-Retriever解决工业领域知识问答
前言技术公司积累了大量的专有文档，工程师尤其是新员工需要快速查询这些文档或吸收其中的新知识。然而，导航大量文档并理解其中的领域特定术语和缩略语是一个巨大的挑战。传统的LLM微调方法计算成本高，对新知识的泛化能力差，且可能覆盖旧知识。RAG框架虽然灵活且可扩展，但在处理领域特定文档时，仍面临术语误解和上下文缺失的问题。文章要解决的问题是如何在工业知识库中高效地导航，克服传统LLM微调和RAG框架在领…- 9
- 0
-
RAG 入门指南：从零开始构建一个 RAG 系统
从零开始构建一个应用可以让我们快速理解应用的各个部分。这个方法其实非常适用于 RAG。我在以前的文章中有介绍过 RAG 的概念、原理以及应用等，但其实，亲自动手来构建一个 RAG 系统或许能够让我们更快速的理解 RAG 到底是什么。有关于 RAG 的介绍的相关文章可翻阅：一文读懂 RAG：它是如何重新定义 AI 的未来？更高级的 RAG 架构：提升 AI 大模型回答准确性的前沿技术本文将为读者提供…- 6
- 0
-
高级 RAG实战：召回更好的片段Query扩展
RAG（检索增强生成）的质量在很大程度上取决于流程中第一步的质量：检索。生成步骤的好坏取决于工作环境，而生成环境是检索步骤的结果。然而，检索也依赖于它收到的query。检索有多种类型：基于关键字、基于语义搜索（嵌入）、混合搜索，甚至在某些情况下会基于对 API 的查询结果（例如，网络搜索结果等）。但归根结底，在大多数情况下，都是人类在键盘后面输入query，而人类并不能保证为他们想要的结果生成高质…- 4
- 0
-
GraphRAG与VectorRAG我都选：HybridRAG
在金融领域，从非结构化文本数据（如财报电话会议记录）中提取和解释复杂信息对大型语言模型（LLMs）来说是一个挑战，尤其是当这些文档包含特定领域的术语和复杂格式时。为了解决这些问题，提出了一种新的方法HybridRAG，它结合了基于知识图谱的 RAG 技术GraphRAG和基于向量的 RAG 技术VectorRAG。HybridRAG 的目的是增强问答（Q&A）系统，以便从金融文档中提取信息…- 6
- 0
-
使用情感勒索Prompt让大模型减少幻觉
有人发现对大模型使用情感勒索能减少幻觉，在ChatGPT使用后效果有明显提升，Prompt 类似：“如果你没有做到 xxx 你将被解雇”。这是怎么发现的呢？OpenAI正在ChatGPT的Mac客户端进行一项新功能测试，该功能允许用户通过对话直接触发屏幕共享请求，而无需手动点击屏幕共享按钮。这一创新对于开发基于自然语言交互的界面具有重要参考价值，因为它使得用户可以通过打字或语音发出指令，从而简化了…- 5
- 0
-
RedCache-ai：大型语言模型和代理的内存框架!
01。概述 在开发人工智能驱动的应用中，一个常见的挑战是有效管理和利用内存。开发者经常面临高昂的成本、闭源限制以及集成外部依赖时的不足支持。这些问题可能会阻碍像人工智能驱动的约会应用或医疗诊断平台这样强大应用的开发人工智能应用中现有的内存管理解决方案要么价格昂贵，要么闭源，或者缺乏对外部依赖的全面支持。这些限制使得开发者难以创建灵活且可扩展的人工智能应用，这些应用能够有效地保留和利用内存…- 9
- 0
-
GraphRAG 项目升级！现已支持 Ollama 本地模型接入，打造交互式 UI 体验
—1—GraphRAG Plus 项目今日推荐的开源项目，是基于 Microsoft GraphRAG 改编而成，专门针对Ollama 本地大模型提供支持。该项目特色在于拥有交互式用户界面，能够直观地展示图谱可视化，便于查看索引数据，并提供日志功能。Github 地址：https://github.com/severian42/GraphRAG-Local-UI鉴于该项目迅速获得关注，作者正积极致…- 8
- 0
-
RAG工程必备神器：LlamaIndex全方位入门与应用指南
大型语言模型（LLMs）正在彻底改变人工智能领域。这些模型能够理解和生成类似人类的文本，代表了人工智能技术的重大飞跃。2022年11月，OpenAI推出了其开创性的生成式AI聊天机器人ChatGPT，它吸引了公众和科技界的想象力。这项创新展示了LLMs的巨大潜力，引发了广泛的兴趣和兴奋。随着这些模型变得更加先进，它们正在扩展到新的应用领域，包括但不限于个性化医疗咨询、法律文件分析、高级教育工具和复…- 5
- 0
-
提升 RAG 效能：使用最佳的嵌入与重排模型
提升 RAG 效能：如何挑选最佳的嵌入与重排模型 [译]在打造检索增强型生成（RAG）系统时，检索器扮演着至关重要的角色。市场上有丰富的嵌入模型可供选择，诸如 OpenAI、CohereAI 和开源的句子转换器。同时，也有来自 CohereAI 和句子转换器的多种重新排列工具。但是，在这么多选择面前，我们该如何挑选出最佳组合，以达到最优的检索效能？我们该怎样判断哪种嵌入模型最契合我们的数据？或者哪…- 6
- 0
-
一个6.1K※开源RAG评估工具：Ragas
在我们构建完RAG系统之后，常常需要设计一套指标，来评价该系统到底表现怎么样。如何评价整个系统一直是个难题，今天我们来介绍一个完整评估RAG系统的开源项目。Ragas 是一个可帮助评估检索增强生成 (RAG) pipelines的框架。RAG 表示一类使用外部数据来增强 LLM 上下文的 LLM 应用程序，现有的工具和框架可帮助构建这些pipelines，但评估它并量化pipelines性能可能很…- 6
- 0
-
ChatAA 发布V0.4.2版本 SuperRAG超级知识库让RAG准确率提升200%
z。。在这个信息爆炸的时代，知识库已不再是简单的数据堆砌，而是需要智能化、高效率的知识管理和利用。大模型作为AI领域的一个重要突破，正逐步成为个人、企业知识库管理的强大助力。然而，市面上现有的AI知识库普遍存在知识库问答准确性不足、回答结果错误的问题。针对这一用户痛点，在本次更新中，ChatAA推出了私有SuperRAG超级知识库，这一创新解决方案将RAG的准确率提升了200%，不仅保证了知识库数…- 5
- 0
-
AI 知识构建：最佳文本分块方法&代码
导言RAG系统跟传统的搜索引擎在构建的时候有非常多的相似性，传统的搜索引擎为了让在线的查询更准，效率更高，所以在离线做了非常多的数据处理和信息的理解，以便构建更高效的索引而RAG系统中，为了让整体大模型获取到的知识更加准确，我们也需要对信息进行加工，让它变成知识，甚至甚至，这些知识之间要构建对你的联系 P.S GraphRAG其实就在干这个工作 而最基础的知识构建方式，就是如何进行分块，…- 8
- 0
-
RAG 聊天机器人：用 Langchain 和 Streamlit开启与 PDF 的智能对话
与大量 PDF 文档的交互如今变得前所未有地便捷与智能。想象一下，您可以轻松与您的笔记、书籍和各种文档进行无缝对话，不再需要繁琐的手动查找和处理。 这篇文章将带您逐步构建一个基于 Multi-RAG 和 Streamlit 的 Web 应用程序，该应用程序通过 AI 驱动的聊天机器人来读取、解析和处理 PDF 数据，提供前所未有的用户体验。让我们一起深入探讨开发这一创新应用的完整过程，了解如何通过…- 4
- 0
-
RAG文本切分五个层次3：不同文档切分之JSON(实战)
前面文章提到，我们将文本切分划分为五个层级，并介绍了前两个层级的实现和一些基础知识。本篇文章开始，我们将介绍第三个层级的内容，基于文档结构的切分，这个级别是关于让我们的分块策略适合不同的数据格式。文本切分五个层级： Level 1: Character Splitting - 简单的字符长度切分 Level 2: Recursive Character Text Splitting - 通过分隔符…- 9
- 0
-
金融巨头贝莱德新作：VectorRAG和GraphRAG到底哪个好？
金融巨头新作：VectorRAG和GraphRAG到底哪个好？发布时间：2024 年 08 月 09 日RAGHybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction在金融领域，从财报电话会议记录等非结构化文本中提取复杂…- 4
- 0
-
RAG挑战来袭：长上下文的LLMs会取代RAG系统吗？
2023年，上下文LLMs窗口一般在4K-8K左右。但是，截至 2024 年 7 月，LLMs上下文窗口超过 128K 的情况很常见。例如，Claude 2 有一个 100K 的上下文窗口。Gemini 1.5 声称有 2M 的上下文，后来的 LongRoPE 声称将LLM上下文窗口扩展到 200 万个令牌之外。此外，Llama-3–8B-Instruct-Gradient-4194k 的上下文长…- 6
- 0
-
RAG是什么，可以用来做什么，如何商业变现？
RAG，即检索增强生成（Retrieval Augmented Generation），是一个框架，能够构建以大语言模型为基础的系统。它利用外部数据源来弥补大语言模型的局限性，为大模型提供训练期间未见数据。 在功能方面，RAG可用于多个领域和场景。在文本领域，它能用于生成自然语言文本摘要、问答系统和对话生…- 7
- 0
-
解锁GraphRag.Net的无限可能：手把手教你集成国产模型和本地模型
通过前两篇文章，相信你已经了解到GraphRag.Net目前只支持OpenAI规范的接口，但许多小伙伴在社区中提议，希望能增加对本地模型（例如：ollama等）的支持。所以这次，我们将探讨如何在GraphRag.Net中使用自定义模型和本地模型。为什么选择GraphRag.Net？ …- 5
- 0
-
使用RAG技术构建企业级文档问答系统：检索优化(1)Embedding微调
概述根据使用RAG技术构建企业级文档问答系统之基础流程中的RAG流程描述，有一个很重要步骤是从知识库中检索相关的文档片段，由于RAG是一个典型的串行流程，即先检索，再生成，因此，提升检索性能，通常可以提升RAG的效果。针对RAG检索部分的优化，已经有不少优化手段，典型的有如下这些：Embedding模型优化混合检索（BM25+Embedding）Multi QueryRAG FusionHypot…- 8
- 0
-
【RAG】混合RAG系统，提升复杂推理任务表现
前言检索增强生成（RAG）系统在处理复杂推理任务方面展现出显著的潜力。然而，现有的RAG系统在面对需要复杂推理、多领域知识集成及数值计算的任务时，仍存在性能瓶颈。为了进一步提升系统的表现，本文提出了一种混合RAG系统，通过整合多种优化方法，显著增强了系统的推理能力和处理复杂任务的能力。本文介绍的RAG系统设计并实现了一个包括网页处理、属性预测、数值计算、LLM知识提取、知识图谱及推理模块在内的综合…- 8
- 0
-
RAG及文档理解工具梳理总结：兼看SELF-REASONING框架
今天是2024年8月9日，星期五，北京，天气晴。本文主要讲2个话题，一个是回顾下昨日的大模型进展，其中，老刘说NLP社区第28讲计划在本周日8-11晚进行，主题暂定为7月份月度总结及大模型做知识图谱查询sparql生成实践，感兴趣的可参加。此外，也包括一些现有文档处理方面的工具的集合，最近的风向是出现了越来越多类似的同质化工具。例如，有一个新的叫MegaParse（https://github.c…- 5
- 0
-
一文梳理有效提升RAG效果的方法
在大模型实际落地的时候，存在一些问题，主要集中在以下方面：缺少垂直领域知识：虽然大模型压缩了大量的人类知识，但在垂直场景上明显存在短板，需要专业化的服务去解决特定问题。存在幻觉、应用有一定门槛：在大模型使用上有一些幻觉、合规问题，没有办法很好地落地，配套工作不足，缺乏现成的方案来管理非结构化文本、进行测试、运营和管理等。存在重复建设：各业务孤立摸索，资产无法沉淀，存在低水平重复建设，对公司来说RO…- 4
- 0
-
RAGFlow v0.9 重磅升级，支持 GraphRAG，开启下一代 RAG 之旅！
一、引言前面我们介绍过很多的关于大模型和RAG相关的技术《RAGFlow：基于OCR和文档解析的下一代 RAG 引擎》，通过其关注程度足以看到市场上对RAG框架和成熟产品的迫切需求，因为想要个人独立从0开始实现一个RAG产品并非易事，虽然有相当多的RAG或者知识库开源产品，大部分其实很难应用于实际生产环境，很多都只能算是一个简单的演示 demo 的基本实现，并没有针对不同行业不同场景实…- 3
- 0
-
GraphRAG 深入解析
@TOC[1]Here's the table of contents:• 概述• 索引• 查询• 索引过程深入解析• 步骤 1：处理文本块• 步骤 2：图提取• 步骤 3：图增强• 步骤 4：社区总结• 步骤 5：文件处理• 步骤 6：网络可视化• 查询过程深入解析• …- 5
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×