MinerU是开源、高质量的数据提取工具，支持多源数据、深度挖掘、自定义规则、快速提取等。含数据采集、处理、存储模块及用户界面，适用于学术、商业、金融、法律等多领域，提高数据获取效率。MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。
主要功能
-
删除页眉、页脚、脚注、页码等元素，确保语义连贯 -
输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版 -
保留原文档的结构，包括标题、段落、列表等 -
提取图像、图片描述、表格、表格标题及脚注 -
自动识别并转换文档中的公式为LaTeX格式 -
自动识别并转换文档中的表格为HTML格式 -
自动检测扫描版PDF和乱码PDF，并启用OCR功能 -
OCR支持84种语言的检测与识别 -
支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等 -
支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
MinerU官网如下：
https://github.com/opendatalab/MinerU/tree/master
在GPU上的使用教程：
1、选用服务器
租用AutoDL服务器
选用RTX3090
PyTorch 2.1.0 Python 3.10(ubuntu22.04) Cuda 12.1
2、安装环境
1、安装magic-pdf项目（/root/autodl-tmp数据盘下）
–no-cache-dir 不用缓存
选用清华源，官网的阿里云检索不到magic-pdf[full]
conda creat -n MinerU python=3.10.0conda activate MinerUpip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple --no-cache-dir
查看是否安装成功
magic-pdf --version
2、下载模型
https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_zh_cn.md
从 ModelScope 下载模型
pip install modelscopewget https://gitee.com/myhloli/MinerU/raw/master/scripts/download_models.py -O download_models.pypython download_models.py
python脚本会自动下载模型文件并配置好配置文件中的模型目录
配置文件可以在用户目录中找到，文件名为magic-pdf.json
下载模型后移动models 和layoutreader到autodl-tmp文件夹中（任意文件夹中都行）
# 移动modelsmv /root/.cache/modelscope/hub/opendatalab/PDF-Extract-Kit-1.0 /root/autodl-tmp/models# 移动layoutreadermv /root/.cache/modelscope/hub/ppaanngggg/layoutreader /root/autodl-tmp/layoutreader
修改生成的magic-pdf.json中的“models-dir”和“layoutreader-model-dir”参数
{"bucket_info": {"bucket-name-1": ["ak","sk","endpoint"],"bucket-name-2": ["ak","sk","endpoint"]},"models-dir": "/root/autodl-tmp/models","layoutreader-model-dir": "/root/autodl-tmp/layoutreader","device-mode": "cuda","layout-config": {"model": "layoutlmv3"},"formula-config": {"mfd_model": "yolo_v8_mfd","mfr_model": "unimernet_small","enable": true},"table-config": {"model": "rapid_table","enable": false,"max_time": 400},"config_version": "1.0.0"}
3、为OCR开启cuda加速
python -m pip install paddlepaddle-gpu==3.0.0b1 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
4、使用命令将PDF转为md格式
在MinerU虚拟环境下运行
magic-pdf -p PDF的地址 -o 输出位置
举例：将root文件下的small_ocr.pdf文件转换完后，保存在/root/autodl-tmp/output
magic-pdf -p /root/small_ocr.pdf -o /root/autodl-tmp/output
输出结果为：
