打造自己的解析大模型:模型的安装与推理

RAG系统中要快速构建AI助理,首先要高效、准确地建立知识库,而实现这一点的关键便是具备一个功能强大的文档解析器。在上一篇中,我们介绍了PdfParser,本篇将深入讨论该解析器所依赖的模型,以及如何在Windows环境中安装并运行这些模型进行推理。

PDF解析的核心流程:

  1. OCR处理:这是解析过程的第一步。通过光学字符识别(OCR)技术,将PDF页面中图像形式的内容转换为可处理的文本数据。这一步为后续的内容识别和分析奠定了基础。

  2. 布局分析:在将页面转化为文本后,布局分析负责解析页面的结构,识别文本块、标题、段落、图像、表格等不同的区域。这一步能够帮助程序理解文档的逻辑结构和内容分布。

  3. 表格与文本的识别与合并:不同于简单的文本识别,表格解析需要更加复杂的处理逻辑。该步骤使用特定模型分别识别文本块和表格内容,并将其合并为完整的、结构化的数据输出。通过这种方式,文档中的表格和相关文字能够被准确提取,确保文档中的信息不丢失。

  4. 输出结果:经过处理的文档会以结构化的方式输出,包括文本、表格等关键内容。这些结构化数据不仅便于进一步分析,还可以快速应用于知识库建设,为AI助理提供支持。

核心识别模型

实现上述解析流程,需要多种模型的支持,包括OCR模型、版面分析模型、表格识别模型等。

识别过程要用到的核心模型如下表:

打造自己的解析大模型:模型的安装与推理

模型安装与推理

PaddleOCR

PaddleOCR 是百度飞桨 (PaddlePaddle) 推出的开源 OCR 工具,旨在为用户提供完整的 OCR 解决方案。它支持从文本检测、识别到表格识别、版面分析等多种任务,同时支持多语言识别,如中文、英文、韩文、日文等。PaddleOCR 结合了轻量级和高精度模型,能够在 CPU、GPU 以及移动设备上高效运行。用户可根据需求自定义和训练模型,广泛应用于文档解析、发票识别等场景。

接下来我们将详细讲解如何在 PaddleOCR 源码下安装这些模型,并在 Windows 环境中运行推理程序。

运行环境准备

Windows和Mac用户推荐使用Anaconda搭建Python环境,Linux用户建议使用docker搭建Python环境。
1. 运行硬件
  • Windows10及以上
  • 16G内存
2. 运行软件
  • Anaconda3
  • Python3.10.14
  • PaddlePaddle2.6.1 WHL包 
  • PaddleOCR2.8 源代码
Python环境搭建

安装Anaconda并创建Python环境

要使用PaddlePaddle,首先需要安装Python环境,这里推荐使用Anaconda工具包来简化管理。网络上有许多关于Anaconda安装的详细教程,所以我们在此不再赘述。安装完Anaconda后,您可以通过命令行或其自带的可视化界面创建Conda环境。在本文中,我们将全程采用命令行进行操作,创建和管理用于PaddlePaddle的运行环境,确保简洁高效。
1.打开Anaconda Prompt终端:在Windows桌面左下角Windows Start Menu -> Anaconda3 -> Anaconda Prompt启动控制台

打造自己的解析大模型:模型的安装与推理

2. 创建新的conda环境
# 在命令行输入以下命令,创建名为paddle_env的环境# 执行命令后可以看到Package Plan 界面conda create --name paddle_env python=3.10.14

打造自己的解析大模型:模型的安装与推理

输入:y 继续安装直到看到以下界面,paddle_env基础环境就算安装完成。

打造自己的解析大模型:模型的安装与推理

PaddleOCR源码下载并安装依赖
1. PaddleOCR源代码下载
使用Git Bash工具在任何一个盘下(这里是在e盘根目录下),执行以下命令。
mkdir paddle_ocr
cd paddle_ocr/
git clone https://github.com/PaddlePaddle/PaddleOCR.git
cd PaddleOCR
git checkout -b release/2.8 origin/release/2.8
至此,我们已成功下载了PaddleOCR的源码,并将其切换至2.8版本。接下来,我们需要安装PaddlePaddle框架及其他依赖包。
首先,打开Anaconda Prompt,进入PaddleOCR项目路径,然后激活之前配置好的paddle_env Conda环境。通过这些步骤,您可以确保后续安装顺利进行,为PaddleOCR的使用做好准备。
# 激活paddle_env环境conda activate paddle_env

打造自己的解析大模型:模型的安装与推理

2. 安装PaddlePaddle包及其它依赖

# 执行以下命令,可以看到以下安装界面pip3 install paddlepaddle==2.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

打造自己的解析大模型:模型的安装与推理

# 继续执行以下命令安装依赖,执行后看到以下界面说明依赖已经安装完成pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

打造自己的解析大模型:模型的安装与推理

至此,我们已经成功安装了PaddleOCR的所有依赖包,当前环境具备了在Windows系统上进行模型推理的能力。接下来,我们将下载所需模型,并使用CPU进行推理验证,以确保模型在本地环境中的正常运行。
模型下载以及推理验证
1. 模型的下载
以下是模型下载地址列表:
版面 https://paddleocr.bj.bcebos.com/ppstructure/models/layout/picodet_lcnet_x1_0_fgd_layout_cdla_infer.tar
表格 https://paddleocr.bj.bcebos.com/ppstructure/models/slanet/ch_ppstructure_mobile_v2.0_SLANet_infer.tar
文本识别 https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_rec_infer.tar
文本检测 https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_det_infer.tar
在Windows系统中,您可以直接将模型包的下载地址输入浏览器进行下载。接下来,我们以文本检测和文本识别模型为例,详细讲解如何进行模型推理验证。通过下载后的模型,您可以利用PaddleOCR进行文本检测,识别文档中的文字信息。此过程包括加载模型、输入PDF或图像文件,并通过推理输出结果,最终验证模型在当前环境中的推理效果是否准确无误。
2. 模型推理
  • 文本检测(中文)
模型下载为: ch_PP-OCRv4_det_infer.tar,直接解压缩,目录下模型文件有3个。
ch_PP-OCRv4_det_infer├── inference.pdiparams         # inference模型的参数文件├── inference.pdiparams.info# inference模型的参数信息,可忽略└── inference.pdmodel # inference模型的program文件
PaddleOCR目录下创建inference目录,ch_PP-OCRv4_det_infer文件夹拷贝PaddleOCR下inference文件夹下。
E:paddle_ocrPaddleOCRinferencech_PP-OCRv4_det_infer├── inference.pdiparams # inference模型的参数文件├── inference.pdiparams.info# inference模型的参数信息,可忽略└── inference.pdmodel # inference模型的program文件
进入Anaconda Prompt界面并进入PaddleOCR路径,然后执行如下命令。
# 执行命令后可以看到识别过程python ./toolsinferpredict_det.py --image_dir="./docimgs
前沿技术大模型技术新闻资讯

拆解 Manus:MCP 与 Deep Research 的高耦合利用

2025-4-18 15:58:24

前沿技术新闻资讯

OpenAI 官方定义:到底什么是 AI Agent?

2025-4-18 16:27:07

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索