-
【文档智能 & RAG】浅看开源的同质化的文档解析框架-Docling
前言RAG的兴起，越来越多的人开始关注文档结构化解析的效果，这个赛道变得非常的同质化。关于文档智能解析过程中的每个技术环节的技术点，前期文章详细介绍了很多内容：下面我们简单的看看Docling这个PDF文档解析框架里面都有什么技术。方法布局分析模型 首先，Docling使用一个布局分析模型，这是一个对象检测器，用于预测给定页面图像上各种元素的边界框和类别。其架构源自RT-DETR，并在DocLay…- 4
- 0
-
使用RAG技术构建企业级文档问答系统：检索优化(3)RAG Fusion
原理在使用RAG技术构建企业级文档问答系统：检索优化(2)Multi Query中介绍了如何借助大语言模型生成相似问，从而避免query中由于措辞原因导致检索失败，熟悉搜索推荐的小伙伴应该能看出来，这其实是做了扩召回，通常情况下，只要后续的粗排、精排、重排性能扛得住，扩召回总是能提高搜推效果的，但我们在上次的实验中却发现，在RAG中，使用MultiQuery却并没有带来检索性能的提升，我们在文末也…- 4
- 0
-
英特尔FastRAG给你的Pipelines提提速
FastRAG 是英特尔实验室为高效、优化的 RAG 管道而开发的研究框架。它融合了最先进的大型语言模型 (LLM) 和信息检索功能。fastRAG 旨在为研究人员和开发人员提供支持拥有一套全面的工具集，用于推进检索增强发展。特点：优化的 RAG：使用 SOTA 高效组件构建 RAG 管道，以提高计算效率。针对 Intel 硬件进行了优化：利用 Intel 扩展 PyTorch （IPE…- 13
- 0
-
首篇GraphRAG综述出炉！
嘿，大家好！这里是一个专注于AI智能体的频道！GraphRAG在国内爆火也没多久，这么快就出综述了，大神们的键盘得敲出火花了。Graph Retrieval-Augmented Generation: A Survey最近，检索增强生成 （RAG） 在解决大型语言模型 （LLM） 的挑战方面取得了显著的成功，而无需重新训练。通过引用外部知识库，RAG 优化了 LLM 输出，有效缓解了“幻觉”、缺乏…- 5
- 0
-
RAG聊天机器人 VS AI Agent：哪个更高效？
RAG 聊天机器人和 AI Agent 之间的争论是 AI 社区的一个热门话题。RAG 聊天机器人通过整合外部知识来改进语言模型，而 AI Agent 则自主执行具有决策能力的特定任务。我们将探索 RAG 聊天机器人和 AI Agent，比较它们的差异和有效性。这将为战略决策提供宝贵的见解。什么是 RAG？ RAG 的全称是 Retrieval-A…- 6
- 0
-
MiniCPM-V 系列模型在多模态文档 RAG 中的应用
原文链接：https://github.com/RhapsodyAILab/Awesome-MiniCPMV-Projects/tree/main/visrag在相当长一段时间内，检索增强生成（RAG）需要使用 OCR 技术把文档中的文本抽取出来，接着使用文本嵌入模型获得语义向量，利用语义向量构建知识库进行检索。这种方法，会丢失所有的图像信息、大部分表格信息、图表信息，存在不可避免的信息损失。是否…- 7
- 0
-
RAG真的是LLM的未来吗？
近年来，检索增强生成（RAG）技术在AI领域掀起了一股热潮，被许多人视为大语言模型（LLM）发展的未来方向。然而，斯坦福大学最近发表的一项研究结果让我们不得不重新思考这个问题。这项研究不仅量化了RAG的效果，也揭示了其潜在的局限性。让我们深入探讨这个问题，并思考RAG与模型本身能力提升之间的权衡。RAG的效果：事实与局限我们不能否认RAG确实能显著提升模型的表现。《How faithful are…- 5
- 0
-
RAG 检索大升级：BM25 与 RRF 助力 LLMs 精准破局
BM25（最佳匹配25）和RRF（倒数秩融合）是两种在检索增强生成（RAG）系统中用于改进大型语言模型（LLMs）检索步骤的技术。以下将详细介绍它们的工作原理及其在RAG流程中的作用。BM25（最佳匹配25）BM25是一种概率信息检索模型，它基于与查询的相关性对文档进行排名。作为传统TF-IDF模型的扩展，BM25在许多检索任务中表现出色，因此被广泛应用。BM25的工作原理：术语频率（TF）：指一…- 7
- 0
-
GraphRAG效果太差？快用自动Prompt Tuning并结合手动微调大幅提升效果！
在之前，我分享了几篇关于GraphRAG的科普和实践文章，得到了群友们的良好反馈。但是最近我注意到越来越多的群友提出GraphRAG在实体和关系提取上并不尽如人意，影响了问答效果。针对这个情况，我首先问的是：你们是否进行了prompt tuning操作？很遗憾，许多回答是没做，有些人甚至把prompt tuning和模型的finetune混淆了。因此，我计划写一篇专门介绍GraphRAG prom…- 3
- 0
-
15 种高级 RAG 技术，值得收藏！
一篇报告，介绍了 15 种高级 RAG（检索增强生成，Retrieval-Augmented Generation）技术，可以从预检索、检索、后检索和生成四个环节来细分。值得学习。15 种高级 RAG 技术1.增加信息密度（Increase Information Density Using LLMs）利用 LLMs（大语言模型）处理、清理和标记数据，以提高信息密度，从而减少生成模型所需的上下文窗…- 2
- 0
-
关于Graph Rag你所需知道的
Graph RAG是什么？GraphRAG是一种基于AI的内容理解和搜索能力，利用LLMs，解析数据以创建知识图谱，并对用户提供的私有数据集回答用户问题的方法。Graph RAG能做什么？GraphRAG能够连接大量信息中的知识点，并利用这些联系来回答那些使用关键词和向量搜索机制难以或不可能回答的问题。基于之前的答案，提供关于如何系统提供各种用途的功能的中等技术高标准信息。这允许系统使用Graph…- 7
- 0
-
SimpleRAG：基于WPF与Semantic Kernel实现的一个简单的RAG应用
SimpleRAG介绍SimpleRAG是基于WPF与Semantic Kernel实现的一个简单的RAG应用，可用于学习与理解如何使用Semantic Kernel构建RAG应用。GitHub地址：https://github.com/Ming-jiayou/SimpleRAG主要功能AI聊天支持所有兼容OpenAI格式的大语言模型：文本嵌入支持所有兼容OpenAI格式的嵌入模型：简单的RAG回…- 6
- 0
-
给RAG系统做一次全面「体检」，亚马逊开源RAGChecker诊断工具
亚马逊上海人工智能研究院成立于 2018 年，已成为深度学习研究领域的领先机构之一，共发表了～90 篇论文。研究领域包括深度学习的基础理论、自然语言处理、计算机视觉、图机器学习、高性能计算、智能推荐系统、欺诈检测与风险控制、知识图谱构建以及智能决策系统等。研究院率先研究和开发了世界领先的深度图学习库 Deep Graph Library (DGL)，结合了深度学习和图结构表示的优势，影响许多重要应…- 5
- 0
-
来喽，手把手优化向量模型的吞吐量(2)实战
上篇我们介绍了，在RAG系统中向量模型使用的情况，本篇文章我们来介绍如何提升向量模型的吞吐量。下图是优化后的bge模型的吞吐量对比：使用 Optimum Intel 和 IPEX 优化嵌入模型Optimum Intel 是一个开源库，其针对英特尔硬件对使用 Hugging Face 库构建的端到端流水线进行加速和优化。Optimum Intel 实现了多种模型加速技术，如低比特量化、模型权重修剪、…- 6
- 0
-
AI 网关零代码解决 AI 幻觉问题
01前言Cloud Native什么是 AI Agent随着大模型技术的快速发展，越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如：由于大模型的训练数据是有限的，因此一些垂直领域的知识，如金融，医疗等等，大模型无法回答，或者容易出现幻觉。并且随着业务的复杂度提高，如何能让大模型像人一样思考，深度的分析解决问题，也对大模型的理解力提出了挑战。在这样的背景下，业界提…- 6
- 0
-
优化你的RAG系统：RAGChecker的全方位诊断攻略
近期Retrieval-Augmented Generation（RAG）系统逐渐成为各种自然语言处理任务中的重要工具。RAG系统通过结合外部知识库来增强生成式模型的能力，生成更为准确和上下文相关的回答。然而，由于RAG系统的模块化特性、对长文本响应的评估需求以及现有评估指标的可靠性不足，对RAG系统进行全面评估一直是一个挑战。为了应对这些挑战，亚马逊AWS AI团队推出了RAGChecker，一…- 2
- 0
-
RAG修仙之我在NVIDIA AI-Agent训练营里当小白
话说吾乃一介凡夫，却对AI领域之奥秘心生向往，欲探究其深层之技法，尤爱智能体构建与多模态模型之术。闻NVIDIA举办AI-Agent线上训练营（免费四天线上集训，NVIDIA AI-AGENT训练营：打造你的LLM-RAG与多模态智能体！），为期四日，课程精妙，专为吾等初入江湖之小白量身打造，遂毅然决然，踏上修行之路。预学之课，筑基为要待开营之时，训练营之师长安排吾等预学习课程，以固根基。其间，吾…- 5
- 0
-
从原理到实践，GraphRAG 如何提升 LLM 的摘要总结能力？
GraphRAG 是一种基于知识图谱的检索增强生成方法。微软在7月初开源了 GraphRAG 项目，一个月左右的时间内，它已经获得了 13k 的 stars。相对于通常的 RAG ，GraphRAG 在从多个非结构化文档中进行高层次总结和摘要方面表现更佳。例如，对于关于环境问题的文章集合，GraphRAG 能更好地回答“这些文章的最主要的5个主题是什么？”这类问题。此类问题没有直接相关的文档可供 …- 4
- 0
-
95% 向量资源节省，火山引擎云搜索 RAG 技术体系演进
2023 年，大模型惊艳了世界。2024 年，RAG 技术如日中天。RAG 使得大模型能够在不更新模型参数的情况下，获得必要的上下文信息，从而减少大模型的幻觉。随着大型语言模型技术的不断成熟和行业应用的深入，人们对 RAG 系统的期望已经超越了对其“酷炫”效果的追求。企业和组织开始寻找更可靠、可扩展的 RAG 解决方案，以满足实际业务需求。与此同时，支撑 RAG 的向量数据库市场竞争愈加激烈。然而…- 3
- 0
-
WeKnow-RAG:结合网络搜索和知识图谱的自适应检索增强生成方法
"WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs"的论文提出了一种新颖的检索增强生成(RAG)方法,结合了网络搜索和知识图谱。WeKnow-RAG:结合网络搜索和知识图谱的自适应检索增强生成方法1. 引言…- 6
- 0
-
RAG 中的混合搜索：使用组合技术增强信息检索
检索器增强生成（RAG）中的混合搜索结合了不同的搜索技术，以提高从数据库或知识库中检索信息的准确性和效率。通常，混合搜索方法利用传统的基于关键字的搜索（稀疏检索）和语义搜索（密集检索），以充分利用这两种方法的优势。以下是对 RAG 中混合搜索的详细介绍。关键部件稀疏检索：稀疏检索通过关键字匹配进行，利用TF-IDF、BM25等技术，根据确切的关键字匹配搜索文档。对于已知确切术语的精确查询，这种方法…- 8
- 0
-
LLM的幻觉怎么分类，有哪些缓解幻觉的技术，这里是你应该知道的前沿调查
近日，一股AI行业走入小冰河期的论调甚嚣尘上。一个根本原因在于，整个AI行业似乎无法从根本上解决幻觉风险为0%这样一个扎心的事实，尤其是对于数据密集型的项目，泛化误差更是大到令人难以置信。我查找到最近的两篇关于幻觉的调查，这是目前比较权威且相对前沿的综合报告，或许可以让你看到初秋的暖阳。、以下是去年年底的LLM幻觉调查，来自哈工大和华为研究团队，截至目前已被引用301次，算是比较权威的LLM幻觉调…- 5
- 0
-
12 个 RAG 痛点及建议解决方案
·痛点 1：缺失内容·痛点 2：错过排名靠前的文档·痛点 3：不在上下文中 — 整合策略限制·痛点 4：未提取·痛点 5：格式错误·痛点 6：特异性不正确·痛点 7：不完整·痛点 8：数据提取可扩展性·痛点 9：结构化数据 QA·痛点 10：从复杂 PDF 中提取数据·痛点 11：后备模型·痛点 12：LLM 安全性受到 Barnett 等人撰写的论文《设计检索增强生成系统的七个失败点》的启发，我…- 6
- 0
-
《设计 RAG 系统时需要考虑的七个失败点 》论文 AI 解读
论文中文名：设计 RAG 系统时需要考虑的七个失败点论文地址：https://arxiv.org/abs/2401.05856一译中英对照版：https://yiyibooks.cn/arxiv/2401.05856v1/index.html如果你也想使用 AI 快速阅读论文，可参考：《AI 助力问题驱动式学习》论文转思维导图速览：如果你想了解该图是如何生成的，可以阅读：《AI 应用之…- 6
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×