Google 发布 PaliGemma 2 Mix:开源指令微调视觉语言模型

原标题:PaliGemma 2 Mix - New Instruction Vision Language Models by Google
68AI 研判分

Google 在 Hugging Face 上发布了 PaliGemma 2 Mix 系列模型,这是基于 SigLIP 和 Gemma 2 架构的指令微调版本。该模型针对 OCR、图像描述等视觉语言任务进行了优化,提供 3B、10B 和 28B 三种参数规模及多种分辨率支持,并附带演示应用与微调教程。

报道正文

本文目录11 个章节

返回文章列表

PaliGemma 2 Mix - Google 推出的全新指令视觉语言模型

发布于 2025 年 2 月 19 日 在 GitHub 上更新 点赞 75

merve merve Aritra Roy Gosthipaty ariG23498 Andreas P. Steiner andsteing google

TL;DR(太长不看版)

去年十二月,Google 发布了 PaliGemma 2:这是一系列基于 SigLIP 和 Gemma 2 的全新预训练 (pt) PaliGemma 视觉语言模型 (VLM)。这些模型提供三种不同的尺寸(3B、10B、28B)以及三种不同的分辨率(224x224、448x448、896x896)。

今天,Google 发布了 PaliGemma 2 mix:该版本在多种视觉语言任务混合数据集上进行了微调,包括 OCR、长文本和短文本描述生成等。

PaliGemma 2 的预训练 (pt) 变体是优秀的视觉语言模型,非常适合针对特定手头任务进行迁移学习。所有 pt 检查点均旨在用于下游任务的微调,这也是它们发布的主要目的。

PaliGemma2 Architecture

Mix 模型能够让用户快速了解在将预训练检查点微调至下游任务时可能获得的性能表现。PaliGemma 模型家族的主要目的是提供能在下游任务中更好地学习的预训练模型,而非提供一个通用的聊天模型。Mix 模型很好地展示了当 pt 模型在学术数据集混合上进行微调时的性能信号。

你可以阅读这篇博客文章以了解更多关于 PaliGemma 2 的信息 在此。

你可以在这个集合中找到所有的 mix 模型和演示 在此。

参数量框架分辨率
3BHF Transformers224
448
JAX224
448
10BHF Transformers224
448
JAX224
448
28BHF Transformers224
448
JAX224
448

目录

PaliGemma 2 Mix 模型

PaliGemma 2 mix 模型能够完成多种任务。我们可以根据子任务将其分类如下:

  • 通用视觉语言相关任务:视觉问答、图像指代
  • 文档理解:针对信息图、图表的视觉问答,以及示意图理解
  • 图像中的文本识别:文本检测、包含文本图像的标题生成、针对含文本图像的视觉问答
  • 定位相关任务:目标检测、图像分割

请注意,此子任务列表并非详尽无遗,有关完整任务列表的更多信息,请参阅 PaliGemma 2 论文。

在提示 PaliGemma 2 mix 模型时,我们可以使用开放式提示。在上一版 PaliGemma 预训练模型中,我们需要根据希望用特定语言完成的任务,在提示中添加任务前缀。这种方式仍然有效,但开放式提示能带来更好的性能。带有任务前缀的提示如下所示:

  • "caption {lang}":生成类似 COCO 数据集风格的简洁描述
  • "describe {lang}":生成更长、更具描述性的内容
  • "ocr":光学字符识别
  • "answer {lang} {question}":针对图像内容进行问答
  • "question {lang} {answer}":为给定答案生成问题

仅有两个任务必须依赖任务前缀才能正常工作,即目标检测和图像分割。这些任务的提示格式如下:

  • "detect {object description}":定位图像中列出的对象,并返回这些对象的边界框
  • "segment {object description}; {object description}":定位图像中对象所占的区域,从而为该对象创建图像分割掩码

比较 PaliGemma 2 Mix 的不同变体

在本节中,我们将回顾上述能力,评估 PaliGemma 2 mix 在这些任务上的表现,并在若干任务上比较不同尺寸和分辨率的变体。此处,我们使用一些真实场景(in-the-wild)的示例对模型进行测试。

通用视觉-语言任务

输入图像输入提示词3B/448 响应10B/448 响应
有多少颗糖果?5 ✅5 ✅
详细描述这张图片一群人背对镜头走在街道上。街道旁有一棵高大的绿叶树、一棵棕榈树,人行道边还有一道白色围栏。远处可见一座带有大型圆形屋顶的粉色建筑,以及另一座带有穹顶的粉色建筑。一名身穿黑色衬衫、背着灰色包的男子正走过停在围栏旁的白色摩托车前方。一名身穿红色衬衫、背着黑色背包的男子站在人行道上的食品推车旁。该食品推车停放在路边。一名身穿蓝色衬衫的男子背着白色包在人行道上行走。路灯杆为黑色。天空呈蓝色。✅一群人背对镜头走在街道上。一座尖顶高楼和一座粉白相间的大型建筑构成了天际线的主要景观。一名穿黑裙的女子和一名穿黑裤的男子并肩而行,身后跟着一名穿红衬衫的男子和一名穿蓝衬衫的男子。一辆摩托车停在围栏旁,一辆踏板车停在人行道上。画面中有人正在步行,而摩托车由一名穿白衬衫的男子驾驶。那名男子穿着红衬衫和黑裤子,穿蓝衬衫的人则骑着踏板车。杆子上的标志清晰可见,且此人背着背包。✅

文档理解

输入图像输入提示词3B/448 响应10B/448 响应
对于分辨率敏感的任务,哪个变体表现最佳?448px,但先调整为 224px448px ✅
法国 2023 年的目标排放率是多少?20 ✅20 ✅

定位任务

[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]

We have evaluated PaliGemma 2 mix variants according to their localization-related capabilities. Given a prompt “detect {object description};{another object description}” with different objects of interest, PaliGemma can detect different objects of interest. The prompt here is not limited to short classes like “bird,” but it can be “bird on a stick”.

Below, you can find detection and segmentation outputs of different variants with a fixed resolution of 448x448. We zoom in on the object of interest for visualization purposes.

Segmentation with PaliGemma 2 mix

Detection with PaliGemma 2 mix

Text Recognition in Images

Input ImageInput Prompt3B/448 Response10B/448 Response
When is this ticket dated and how much did it cost?26-05-2023 21 17.00 ✅26-05-2023 17.00 ✅
Read textFRIDAY, DEC 20th\nNEW OFFICE PARTY\nCOCKTAIL MENU -\nOFFICE MARTINI\nvodka fraise des bois - jus de framboise - liqueur de fleur de sureau - fleur wild strawberry vodka - raspberry puree - elderflower liquor - flower\nDIFFUSERS SUNRISE\ntequila - mandarine impériale - jus d'orange sanguine - cointreau - cherry bitter tequila - tangerine liquor - blood orange juice - cointreau - cherry bitter\ngin infused à la mangue rôtie - citronnelle, kiwi vert & jaune - citron - poivre blanc roasted mango infused gin - lemongrass - green & yellow kiwi, lemon - white pepper\nTRANSFORMERS TWIST\npâte crème de cerise - caramel jamplémousse - bananas\nPERUVIAN PEFT\npêches - cherry liquor - grapefruit cordial - pineapple ✅FRIDAY, DEC 20th NEW OFFICE PARTY COCKTAIL MENU - OFFICE MARTINI vodka fraise des bois - jus de framboise - liqueur de fleur de bureau - fleur wild strawberry vodka - raspberry puree - elderflower liqueur - flower DIFFUSERS SUN-HISE tequila - mandarine impériale - jus d'orange sanguine - cointreau - cherry bitter tequila - tangerine liquor - blood orange juice - cointreau - cherry bitter TRANSFORMERS TWIST gin infused à la mangue rôtie - citron vert & jaune - citron - poivre blanc roasted mango infused gin - lemongrass - green & yellow kiwi lemon - white pepper PERUVIAN PEFT piéce - eau de cèdre - eau de pamplemousse - ananas piece - cherry liquor - grapefruit vodka - pineapple ✅

Inference and Fine-tuning using Transformers

You can use PaliGemma 2 mix models using transformers.

PYTHON
from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-10b-mix-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

prompt = "describe en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

We have an in-depth tutorial on fine tuning PaliGemma 2. The same notebook can be used to fine tune the mix checkpoints as well.

Demo

We are releasing a demo for a 10B model with 448x448 resolution. You can play with it below or head to app in this link.