教程 | 使用大模型从图片中提取结构化数据


在快速发展的人工智能领域,将视觉功能集成到大型语言模型中,可以用于解读图片语义, 从图片中提取出结构化数据

教程 | 使用大模型从图片中提取结构化数据




一、环境配置

在Python中调用大模型,  先要配置好相应的环境。


1.1 安装python包


pip3 install ollama
pip3 install pydantic
pip3 install instructor


1.2 安装Ollama

Ollama是一款开源应用程序,可让您使用 MacOS、Linux 和 Windows 上的命令行界面在本地运行、创建和共享大型语言模型。

Ollama 可以直接从其库中访问各种 LLM,只需一个命令即可下载。下载后,只需执行一个命令即可开始使用。这对于工作量围绕终端窗口的用户非常有帮助。Ollama的安装、配置、使用的详细教程可阅读  教程 | 如何使用 Ollama 下载 & 使用本地大语言模型

教程 | 使用大模型从图片中提取结构化数据




1.3 安装大模型

截止2025.2.22, 在 Ollama 网站中公开的 视觉类大模型 有7个, 这里简单介绍其中的两个

  • llama3.2-vision 更擅长识别图片中的英文信息
  • minicpm-v  模型基于qwen, 更擅长识别图片中的中文信息
教程 | 使用大模型从图片中提取结构化数据


打开命令行 cmd (在mac中对应terminal) , 执行安装命令


ollama pull llama3.2-vision:11b
ollama pull minicpm-v:8b



1.4 启动Ollama服务

打开命令行 cmd (在mac中对应terminal) , 执行启动服务命令


ollama serve




二、实验代码


2.1 非结构化输出

截图的文件名 test_screen.png

教程 | 使用大模型从图片中提取结构化数据



import ollama


#论文的截图文件 test_screen.png
#注意,代码文件与截图文件同处于一个文件夹内

response = ollama.chat(
    model='minicpm-v',  
    messages=[{
        'role''user',
        'content''这是一篇什么领域的论文?',
        'images': ['test_screen.png']
    }]
)

print(response)

Run


ChatResponse(model='minicpm-v', created_at='2025-02-22T13:11:25.766017Z'done=True, done_reason='stop', total_duration=12956488125, load_duration=819433041, prompt_eval_count=461, prompt_eval_duration=9630000000, eval_count=147, eval_duration=2499000000, message=Message(role='assistant', content='这张图片是关于一篇题为“开或关在轨:如何(破碎)的线索影响消费者决策”的文章标题页。该文章由杰基·西尔弗曼和亚历山德拉·巴拉斯奇撰写,探讨了消费者行为的新技术追踪的后果。研究发现,在七项研究中,持续的行为轨迹会引发高消费后的强化,并且如果打破了这些轨迹,则会产生相反的效果,从而影响消费者的决策。所用的研究方法包括跟踪、行为分析以及追踪和监测等工具和技术,以了解线索对不同领域(如体育、学习)的影响。关键词列出了文章的焦点领域:断路器、行为追踪和记录、消费者动机、参与度。', images=None, tool_calls=None))



2.2 结构化输出

设计更详细的提示prompt, 通过使用typing 和pydantic 设计数据结构,输出为字典类数据。


import instructor
import os
from typing import List
from pydantic import BaseModel


PROMPT = """请分析提供的图片,并从中提取以下信息:
- 标题(title)
- 学科(subject)
- 领域(field)


请以如下格式返回结果:
{
    "title": "论文的标题",
    "subject": "论文所属学科",
    "field": "论文的研究领域",
}"""



#本地已安装大模型minicpm-v
model_name = 'minicpm-v'
base_url = 'http://127.0.0.1:11434/v1'
api_key = 'NA'


#论文的截图文件test_screen.png
#注意,代码文件与截图文件同处于一个文件夹内
image = instructor.Image.from_path("test_screen.png")




client = instructor.from_openai(
        OpenAI(
            base_url=base_url,
            api_key=api_key,  # required, but unused
        ),
        mode=instructor.Mode.JSON,
)


classPaper(BaseModel):
    title: str
    subject: List[str]
    field: List[str]




# Create structured output
result = client.chat.completions.create(
    model=model_name,
    messages=[
        {"role""asistant""content": PROMPT},
        {"role""user""content": image},
    ],
    response_model = Paper,
    temperature=0.0
)


result.model_dump()

Run


{'title''On or Off Track: How (Broken) Streaks Affect Consumer Decisions',
'subject': ['streaks, behavioral tracking and logging, technology, goals and motivation'],
'field': ['consumer behavior''marketing research''engagement strategies']}




三、讨论

大邓测试发现 结构化输出 很容易出错, 相比之下 非结构化输出 更稳定一些。

RAG技术前沿技术新闻资讯

深度拆解RAGFlow分片引擎之切片实现

2025-5-15 22:59:34

前沿技术大模型技术新闻资讯

特征工程、模型结构、AIGC——大模型在推荐系统中的3大落地方向|文末赠书

2025-5-15 23:30:28

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索