Image Generators are Generalist Vision Learners

问题动机

长期以来，研究者猜测「能生成视觉内容就意味着能理解它」，这与大型语言模型（LLM）通过生成式预训练涌现语言理解和推理能力的现象类似。然而，缺乏充分的实验证据表明生成式视觉模型已经发展出强大的理解能力。本文试图回答一个核心问题：图像生成训练是否能够像 LLM 预训练一样，让视觉模型学习到通用且强大的视觉表征？

方法核心

Vision Banana 架构

本文提出 Vision Banana 模型，核心思路是对预训练的图像生成模型 Nano Banana Pro (NBP) 进行轻量级指令微调（instruction-tuning）。关键创新在于将视觉任务的输出空间统一参数化为 RGB 图像。

传统的视觉任务采用异构的输出格式：

• 语义分割：输出类别掩码
• 深度估计：输出深度图（浮点数）
• 边缘检测：输出边缘图

Vision Banana 的做法是将这些异构输出全部转换为 RGB 图像格式。例如：

• 分割掩码可以编码为带有特定颜色标记的 RGB 图像
• 深度图可以通过伪彩色映射（pseudo-color mapping）转换为 RGB
• 检测框可以通过可视化方式渲染为图像

这样一来，所有视觉任务都被重新定义为图像生成任务，形成统一的任务接口。

训练策略

训练数据混合了原始生成数据与少量视觉任务数据： $\mathcal{D}_{mixed} = \alpha \cdot \mathcal{D}_{gen} + (1-\alpha) \cdot \mathcal{D}_{vision}$

其中 $\mathcal{D}_{gen}$ 是原始生成训练数据，$\mathcal{D}_{vision}$ 是视觉任务数据，$\alpha$ 控制两者的混合比例。实验表明，这种轻量级微调可以在保留生成能力的同时显著提升理解能力。

关键观察

1. 涌现能力：类似 LLM 的涌现现象，模型在达到一定规模后开始展现出零样本视觉理解能力
2. 任务迁移：在生成任务上学到的视觉表征可以有效迁移到理解任务
3. 统一接口：图像生成作为统一接口，类似于 text generation 在 NLP 中的角色

实验结果

Vision Banana 在多种视觉任务上取得 SOTA 或具有竞争力的表现：

| 任务 | 竞品模型 | 相对表现 | |------|----------|----------| | 语义/实例分割 | SAM 3 | 超越 | | 度量深度估计 | Depth Anything | 媲美 | | 2D 理解 | 领域专门模型 | 匹敌或超越 | | 3D 理解 | 领域专门模型 | 匹敌 |

范式意义

本文最重要的观点是：生成式视觉预训练可能成为构建视觉基础模型的通用范式。这与 LLM 的发展路径类似——通过大规模生成式预训练习得通用能力，然后通过轻量微调适应具体任务。这标志着计算机视觉领域可能正在经历一次重大范式转变，从判别式预训练（如 ImageNet 分类预训练）转向生成式预训练。