-
【一文了解】RAG引擎-RAGFlow
在人工智能领域，大模型RAG（Retrieval-Augmented Generation）技术正成为提升大语言模型性能的关键。RAG技术通过结合检索机制和生成模型，使大型语言模型能够访问和利用外部知识库，生成更加准确和相关的回答。目前，热门的RAG工具包括RAGFlow、QAnything、FastGPT、Langchain-Chatchat等，它们各具特色，满足从文档解析到任务流编排的不同需求…- 6
- 0
-
RAG检索增强生成最佳实践
01引子检索增强生成（RAG）RAG 过程十分复杂，包含众多组成部分。我们如何确定现有的 RAG 方法及其最佳组合，以确定最佳的 RAG 实践？本文分为四个主要部分。首先，介绍典型的 RAG 流程。然后，介绍每个 RAG 模块的最佳实践。然后是全面评估。最后，分享我的想法和见解，并进行总结。02RAG工作流程典型的RAG工作流程如下：图 1：检索-增强生成工作流程典型的 RAG 工作流程包括以下几…- 7
- 0
-
让GPT帮你读文档：一种简单的实现方法
GPT-4阅读文档的原理与人类阅读类似。想象一下，当您拿到一份数十页的PDF文件时，您会先关注哪些部分？摘要、总结以及目录结构。接着，您会在心里提出若干问题（大约3-5个），并带着这些问题继续阅读。为了借助GPT-4实现高效阅读，并尝试突破单次 token 数量限制，我们需要使用官方提供的 embedding 工具箱。简单来说，embedding 的原理就是将一段文本压缩成一组向量数据，就像是将文…- 8
- 0
-
私域大模型建设记录（三）
周日志 汇报前 汇报PPT已经做好了，一直在等待汇报的时机。与此同时，团队正在进行的工作有： 研究开源私有大模型部署、微调、配套等工具的使用； 研究知识库构建的向量检索方案实现，结合RAG技术路线同步考虑； 研究搭建AI工作流的工具； 安排后续与其他厂商的合作交流事项。 内部推动新技术发展与外部的行动策略大有不同。内部以论证为优先，论证得足够清晰，并往上能引发更多共鸣才有可能立项推进。外部以行动为…- 3
- 0
-
从DSP到DSPy：论文详解
DSP回看DSPy在2022年初次发表的论文《DEMONSTRATE–SEARCH–PREDICT: Composing retrieval and language models for knowledge-intensive NLP》。当时作者提出DSP的三个关键组件为：Demonstrate，Search 和 Predict。Demonstrate：演示，需要输入训练集，相当于Few-sho…- 7
- 0
-
TC-RAG：打造图灵完备的医疗AI检索系统
传统的检索增强生成（RAG）方法在处理复杂和高度专业化的查询时，容易受到检索中止和系统状态管理不足的影响，导致信息错误积累以及系统无法有效收敛。TC-RAG（Turing-Complete RAG（TC-RAG的检索增强生成系统，特别针对医学大语言模型LLMs的应用）通过引入图灵完备性来解决这些问题，使得系统能够动态监控和管理检索过程，从而确保更高的准确性和可靠性。研究的核心发现图灵完备的系统设计…- 15
- 0
-
【干货】带你一步步搭建RAGFlow
上星期给各位同学介绍了RAGFlow这个大模型RAG引擎，本篇给大家介绍一下RAGFlow的本地搭建，以下过程基于Ubuntu24，其它Linux系统的搭建方法也基本相同。先来温补一下，RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内…- 19
- 0
-
提升RAG检索回答质量: Shortwave的 4 大优化指南
之前写了一手体验AnythingLLM: 总感觉现在的RAG项目徒有其表, 太生硬就对 RAG 机制的优化, 高质量检索感兴趣, 今天又看了很久以前收藏的干货文(因为太长一直等到现在才看), 结果发现在今年 3 月份时这个就已经是个问题, 包括 perplexity ai 的 CEO 也为此苦恼过,用 RAG 向量相似性检索的内容质量很差, 常常检索不到最精准的这篇文章就针对 RAG 检索这个问题…- 6
- 0
-
LinkAI RAG 知识库优化之路
RAG（Retrieval-Augmented Generation,检索增强生成）作为当下主流的AI智能体应用技术之一，为解决大语言模型在问答交互场景下存在的不足（知识的局限性、滞后性以及幻觉等问题）提供了解决方案，也让AI大模型在专业领域（尤其是企业应用场景）的落地应用、满足真实的生产需求和业务场景成为可能。经过持续的迭代优化工作，LinkAI知识库能力在检索前、检索中和检索后等方面均得到显著…- 5
- 0
-
提升RAG系统的回答质量：高质量企业文档解析（一）
LLM（大型语言模型）在生成自然语言文本方面展现出强大的能力，但它们的训练数据通常来自于公开的、广泛的数据源，这意味着它们在面对特定企业的私有数据时，可能无法准确地生成相关的答案或信息。一种可行的思路是将这些专业数据用于微调大型语言模型（LLM），但这通常对技术和成本的要求都非常高。相比之下，RAG系统提供了一个更加经济和高效的解决方案。它通过在用户的原始问题后附加相关的私域数据，将其与通用LLM…- 4
- 0
-
一文彻底搞懂GraphRAG
论述图形RAG技术如何提升AI在复杂知识库问答中的应用效能。自ChatGPT引领人工智能的新潮流以来，我们见证了大型语言模型（LLM）与私有数据结合的巨大潜力。这种结合不仅催生了功能强大的AI应用，也标志着AI专业能力的提升。然而，随着深入探究，我们发现传统的文本嵌入检索技术（Text2Vec RAG）在处理知识库问答时仍存在局限。本文阐述如何通过图形RAG技术，有效填补这一空白，实现对知识库的深…- 5
- 0
-
大模型讲解：大模型幻觉
一、什么是大模型幻觉相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。以下为几个典型的大模型幻觉案例：1、阅读理解…- 5
- 0
-
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
一、LLMs 已经具备了较强能力了，为什么还需要 RAG(检索增强生成)?尽管 LLM 已展现出显著的能力，但以下几个挑战依然值得关注：幻觉问题：LLM 采用基于统计的概率方法逐词生成文本，这一机制内在地导致其可能出现看似逻辑严谨实则缺乏事实依据的输出，即所谓的“郑重其事的虚构陈述”；时效性问题：随着 LLM 规模扩大，训练成本与周期相应增加。鉴于此，包含最新信息的数据难以融入模型训练过程，导致 …- 9
- 0
-
使用高精度RAG实现对表格数据的检索
为什么针对表格丰富文档的RAG表现糟糕？检索增强生成（RAG）革命已经迅速发展了一段时间，但这条路并非一帆风顺——尤其是在处理非文本元素，如图片和表格时。一直困扰我的一个问题是，每次要求RAG工作流程从表格中提取特定值时，准确率都会下降。当文档中包含多个与相关主题相关的表格，比如在盈利报告中，情况就更加糟糕了。所以，我开始了改善我的RAG管道中表格检索功能的任务...主要挑战：检索不一致性：向量搜…- 4
- 0
-
15种高级RAG技术：从预检索到生成全面提升RAG效果
本文主要由文章《15 Advanced RAG Techniques from Pre-Retrieval to Generation》总结并添加了一些自己的理解。检索增强生成 （RAG） 是一种强大的技术，它将信息检索与生成式 AI 相结合，以产生更准确、上下文更丰富的响应。本文将探讨 15 种高级 RAG 技术，以提高生成式 AI 系统的输出质量和整体性能的鲁棒性。这样做使本文能够测试和识别从…- 4
- 0
-
RAG最佳实践：用 ElasticSearch 打造AI搜索系统与RAG 应用全流程详解！
今天这篇文章将介绍如何使用 Elasticsearch 搭建AI搜索系统和RAG应用系统。 Elasticsearch 搭建 AI 搜索系统在 Elasticsearch 中实现向量搜索涉及四个关键组件：嵌入模型：这是一个机器学习模型，能够将数据作为输入并返回该数据的数字表示形式，即向量（也称为“嵌入”）。嵌入模型是整个向量搜索的基础，它将文本、图像等非结构化数据转换为向量表示，以便在向…- 1
- 0
-
RAG重磅升级：DSF带来特定领域精准提升的全新方案！
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索（Retrieval）和生成（Generation）能力的框架，通过从背景数据中检索相关信息来增强模型的生成输出。在当前的大型语言模型（LLM）技术中，一个显著的限制是模型无法即时更新其训练数据集，这引发了两个主要问题：一是如何获取最新知识，二是如何减少生成幻觉（hallucination）的现象…- 7
- 0
-
本地大模型接入知识库RAG
主要是以下步骤：如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本地化的数据库上篇用Ollama一键部署本地大模型，以及通过搭建本地的聊天工具。这篇就聊下剩余的部分。三、安装Docker Desktop1、点击/复制到浏览器去下载https://docs.docker…- 9
- 0
-
RAG文档解析利器：Deepdoc
项目结构|--deepdoc|--parser|--resume|--entities|--step_one.py|--step_two.py|--docx_parser.py|--pdf_parser.py|--excel_parser.py|--html_parser.py|--json_parser.py|--markdown_parser.py|--ppt_parser.py|--visi…- 7
- 0
-
搜索引擎 + GraphRAG + LLM 代理 = 人工智能智能搜索
OpenAI 最近宣布推出由人工智能驱动的搜索引擎 SearchGPT，力图挑战谷歌长期以来的主导地位。然而，MindSearch 就是这样一种创新，它是 SearchGPT 和 Perplexity 的开源替代品。在与可以连接互联网的 ChatGPT 和专注于 AI 搜索引擎的 Perplexity 的竞争中，MindSearch 在深度、广度和准确性方面都胜过这两款明星产品。它甚至可以在不到 …- 5
- 0
-
解锁扣子(Coze)隐藏技能，增强Agent智能体决策力，亲手搓一个
好久没分享智能体实战项目了。最近在修炼内功，把 OpenAI 官方提示词指南重刷了一遍。因为要点比较多，看完后容易忘，所以就想着是不是可以做这样一个智能体——输入URL，自动总结网页核心要点，像下面这样在开发这个智能体的时候，解锁了扣子两个强大、好用的功能。写一篇文章跟朋友们分享一下。实现这个智能体，第一步是要能读取网页里的内容，这里，我开发了一个插件。第二步，就是把读取网页内容，送入大模型进行总…- 8
- 0
-
RAG混合检索：掌握倒数秩融合RRF多维度提升检索结果评分的秘诀
倒数排名融合 (RRF) 是一种算法，可评估多个以前的排名结果中的搜索分数以生成统一的结果集。在RAG搜索中，每当并行执行两个或更多个查询时，都会使用 RRF。每个查询都会生成一个排名结果集，RRF 可用于将排名合并和同质化为单个结果集，在查询响应中返回。始终使用 RRF 的示例方案包括混合搜索和并行执行的多个矢量查询。RRF 基于倒数排名的概念，即搜索结果列表中第一个相关文档的排名的倒数。&nb…- 6
- 0
-
VLDB 2024｜NebulaGraph RAG 正式官宣
导读VLDB （International Conference on Very Large Data Bases）是数据库领域的三大顶级国际会议之一，自1975年创办以来，一直引领着数据库领域的前沿研究与技术创新，被誉为数据库领域的风向标。NebulaGraph GenAI Team 负责人古思为在 VLDB 上进行了主题为《GraphRAG in NebulaGraph 》的演讲。本文进行简单…- 7
- 0
-
RAG文本切分的五个层次1：字符切分基础(实战)
在大模型应用中，时常会出现由于知识库参考内容过多或者长期记忆的内容过长，导致输入模型的成本过高或者超出模型的承载长度。该怎么办呢？提高语言模型应用程序性能的最有效策略之一是将大数据分成较小的部分。后面的一系列分享将介绍文本切分的一些概念、方法和实战；会涉及很多内容，但如果你能坚持到最后，保证你会对分块理论有一个扎实的掌握。我们将文本切分定义为五个层级：Level 1: Character…- 7
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×