Google DeepMind 今天发了 Gemini Embedding 2，第一个原生五模态 embedding 模型文本、图片、视频、音频、PDF，五种东西，首次编码进同一个向量空间
它能处理什么
五种模态，支持 100+ 语言：
-
• 文本：最多 8192 个 input tokens -
• 图片：每次最多 6 张，PNG / JPEG -
• 视频：最长 128 秒，MP4 / MOV -
• 音频：最长 80 秒，MP3 / WAV（不支持 AAC、FLAC） -
• PDF：最多 6 页
这五种东西可以混着传。一次 API 调用里同时丢一段文字、三张图、一段录音进去，模型返回一个向量，这个向量理解的是它们之间的关系
以前要做类似的事（比如用一句话搜到相关的视频片段），得给每种模态各跑一个模型，各建一个索引，再写代码把结果拼起来。现在一个模型、一个索引就够了
Google 给了这样的例子：
from google import genai
from google.genai import types
client = genai.Client()
result = client.models.embed_content(
model="gemini-embedding-2-preview",
contents=[
"What is the meaning of life?",
types.Part.from_bytes(
data=image_bytes,
mime_type="image/png",
),
types.Part.from_bytes(
data=audio_bytes,
mime_type="audio/mpeg",
),
],
)在这里，三种模态，一次调用，一个向量
跑分
默认输出 3072 维向量。支持灵活缩维（Matryoshka Representation Learning），缩小之后跑分几乎不掉：
-
• 3072 维：MTEB 68.17 -
• 2048 维：MTEB 68.16 -
• 1536 维：MTEB 68.17（比 2048 还高 0.01） -
• 768 维：MTEB 67.99
768 维的存储成本是 3072 维的四分之一，跑分只掉了 0.18
有个反直觉的细节：1536 维的分数比 2048 维略高。Google 建议开发者优先用 3072、1536、768 三个档位
补个背景。前代 gemini-embedding-001 目前仍然排在 MTEB English 榜第一，均分 68.32，领先第二名 5 分多。Embedding 2 在纯文本上没拉开明显差距，核心增量在多模态
定价
-
• 文本：$0.20 / 百万 tokens -
• Batch API：半价，$0.10 / 百万 tokens -
• 图片、音频、视频：按 Gemini API 标准媒体 token 费率
做个对比：
-
• 前代 gemini-embedding-001（纯文本）：$0.15 / 百万 tokens -
• OpenAI text-embedding-3-large（纯文本）：$0.13 / 百万 tokens -
• Cohere Embed v4（文本 + 图片）：$0.12 / 百万 tokens
多了音频、视频、PDF 三种模态，价格比前代涨了 33%。考虑到能力的增量，这个溢价不高
竞品
多模态 embedding 不是没人做过：
-
• Cohere Embed v4：文本 + 图片，不支持音频和视频，128K tokens 长上下文 -
• CLIP 系列 / Jina CLIP v2：图片 + 文本 -
• Nomic：图片 + 文本
Gemini Embedding 2 是第一个在一个商用 API 里覆盖五种模态 + 100 语言的
开源侧追得快。NVIDIA 的 Llama-Embed-Nemotron-8B 领跑多语言 MTEB，Qwen3-Embedding-8B 拿到 70.58 分，支持 32 到 4096 灵活维度。但这些目前都还是纯文本
坑
几个明确的问题：
向量空间不兼容gemini-embedding-001 和 gemini-embedding-2-preview 的向量空间完全不同。想升级，只能把整个数据集全部重新编码一遍，重建索引。没有渐进迁移的办法
音频限制紧
80 秒上限，只支持 MP3 和 WAV。30 分钟的会议录音要切成 20 多段
视频 128 秒
超过两分钟就要自己分片
PDF 最多 6 页
合同、研报、论文基本都超
还在 Public Preview
API 容量可能有限，规格在正式发布前可能还会变。做原型没问题，上生产要掂量
早期反馈
Google 引用了法律科技公司 Everlaw 的 CTO Max Christoff 的说法。他们用 Gemini 多模态 embedding 做诉讼发现（从海量证据里找关键信息），百万级记录上精确率和召回率都有提升，图片和视频搜索是之前完全没有的能力
接入方式
模型名 gemini-embedding-2-preview，通过 Gemini API 或 Vertex AI 调用
已支持：LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB、Pinecone、Vector Search
Google 做了个多模态语义搜索的 demo，可以直接试看这里：https://findmemedia.lmm.ai/
