OmniParse 是一个强大的数据转换工具，它能够将各种非结构化数据源转化为结构化、易于操作的格式。这个平台专为与生成式人工智能（GenAI）应用程序，如大语言模型的集成而设计。
无论是文档、电子表格、图片、视频、音频还是网页内容，OmniParse 都能高效地清洗和组织您的数据，使其成为适用于如检索增强生成（RAG）和模型微调等先进人工智能技术的理想输入。
近期热文
-
当 AI 遇上爬虫：让数据提取变得前所未有的简单！ -
2024 年最完整的 AI Agents 清单来了，涉及 13 个领域，上百个 Agents！ -
超强 OCR 神器：支持批量 OCR、文档识别、公式识别，离线可用、完全免费！
OmniParse 主要特点
-
支持 10 几种文件类型 -
支持将文档、多媒体和网页，转换成高质量的 Markdown 文档 -
支持表格抽取、图像提取、音视频转录（语音转文本）和网页抓取等 -
完全本地化运行，无需外部 API -
可使用 Docker 和 Skypilot 快速部署
OmniParse 使用示例
操作界面
解析效果
OmniParse 快速上手
本机安装
注意：目前 OmniParse 只能在 Linux 的系统上运行。这是因为某些依赖项和特定系统配置与 Windows 或 macOS 不兼容。
1.克隆项目
git clone https://github.com/adithya-s-k/omniparse
cd omniparse
2.创建虚拟环境
conda create --name omniparse-venv python=3.10
conda activate omniparse-venv
3.安装依赖
poetry install
# or
pip install -e .
Docker 安装
docker pull savatar101/omniparse:0.1
# if you are running on a gpu
docker run --gpus all -p 8000:8000 savatar101/omniparse:0.1
# else
docker run -p 8000:8000 savatar101/omniparse:0.1
启动服务器
python server.py --host 0.0.0.0 --port 8000 --documents --media --web
-
–documents：加载解析和提取文档的模型（SuryaOCR 和 Florence-2） -
–media：加载 Whisper 模型，拥有转录音视频文件 -
–web：配置 selenium 环境
启动 API 服务器
python main.py --host 0.0.0.0 --port 8000
当 API 服务器正常启动后，就可以通过 HTTP 请求来调用 OmniParse 服务。文档解析的使用示例如下：
1.解析 PDF 文档
curl -X POST -F "file=@/path/to/document.pdf" http://localhost:8000/parse_document/pdf
2.解析 PPT
curl -X POST -F "file=@/path/to/presentation.ppt" http://localhost:8000/parse_document/ppt
3.解析 Word
curl -X POST -F "file=@/path/to/document.docx" http://localhost:8000/parse_document/docs
4.解析图片
curl -X POST -F "image=@/path/to/image.jpg" -F "task=Caption" http://localhost:8000/parse_image/process_image
5.解析视频
curl -X POST -F "file=@/path/to/video.mp4" http://localhost:8000/parse_media/video
6.解析音频
curl -X POST -F "file=@/path/to/audio.mp3" http://localhost:8000/parse_media/audio
7.解析网页
curl -X POST -H "Content-Type: application/json" -d '{"url": "https://example.com"}' http://localhost:8000/parse_website
https://github.com/adithya-s-k/omniparse
