ViT 家族 8 种方法（ViT / Swin / DeiT / MAE / DINO / I-JEPA / AIM / RADIO）系统对比？

一句话定位

ViT 家族 8 种方法都是 视觉 backbone / 视觉预训练方法，但解决的问题完全不同。按 训练目标 分成 4 类最清晰：

总体对比表

AM-RADIO 的目标：通过多 teacher distillation 把不同视觉基础模型的能力整合到一个统一 student backbone，例如 CLIP 的 zero-shot/text grounding、DINOv2 的 dense correspondence、SAM 的 segmentation-like capability。

一句话记忆版

按技术路线详细对比

1. ViT · 最基础的视觉 Transformer

 1Image
 2→ split into patches
 3→ flatten each patch
 4→ linear projection
 5→ patch embeddings
 6→ add [CLS] token
 7→ add positional embeddings
 8→ Transformer encoder
 9→ use [CLS] output for classification

核心点：

• 图像切成固定大小 patch（如 16×16），每个 patch 展平成向量
• 通过 linear projection 变成 token embedding
• 加 [CLS] token 作为全图表示
• 加 positional embedding 保留空间位置信息
• 输入 Transformer encoder，用 [CLS] 输出做分类

价值：把图像问题变成了 token sequence modeling。

缺点：ViT 缺少 CNN 的 inductive bias（locality 和 translation equivariance），通常需要更大数据或更强预训练。

2. Swin Transformer · 让 ViT 更适合检测/分割

普通 ViT 的 attention 是全局的，复杂度随 token 数平方增长。Swin 的做法：

• Window attention：每个 patch 只看自己窗口内的 patch
• Shifted window attention：下一层把窗口整体平移半个窗口大小，让原本不同窗口的 token 互相注意

核心优势：复杂度更低 · 层级结构类似 CNN · 对 object detection / segmentation / dense prediction 更友好 · 可以产生多尺度 feature map。

ViT 更像 NLP Transformer，Swin 更像 CNN-style hierarchical Transformer。

3. DeiT · 让 ViT 在较小数据上训得更好

核心问题：ViT 原本需要大规模数据预训练，但只有 ImageNet 规模时不容易训好。

 1Image patches + [CLS] token + distillation token
 2→ Transformer
 3→ classification head from [CLS]
 4→ distillation head from distillation token

引入 distillation token，让 student ViT 学 teacher model（通常是 CNN，比如 RegNet）的输出。

DeiT = 用蒸馏把 ViT 训稳，属于 supervised learning + knowledge distillation。

4. MAE · 遮住大部分 patch 让模型重建

 1Image patches
 2→ randomly mask 75%
 3→ encoder only sees visible 25%
 4→ lightweight decoder reconstructs masked patches

关键设计：

为什么 mask 75% 还有效：图像有很强冗余，只看 25% patch 仍可推断大致结构。

优点：训练简单 · 不需要标签 · 计算高效 · 适合大规模 ViT 预训练 缺点：目标是重建像素，可能偏低层视觉 · 对语义对齐不如 CLIP/DINO 那类方法直接

5. DINO / DINOv2 · 自蒸馏学强语义特征

核心：同一张图的不同增强视角，应该有一致的语义表示。

 1same image
 2→ global crop / local crop
 3→ teacher network
 4→ student network
 5→ student matches teacher output

关键技巧：

DINO 用 multi-crop augmentation：teacher 看 global crops，student 看 global + local crops，迫使 student 从局部预测全局语义。

DINOv2 = 更强规模 + 更强数据 + 更稳定训练，特征在分类、检索、分割、dense matching 上都很强。

DINO 是「没有标签的 teacher-student 蒸馏」，MAE 是「遮住图像重建像素」。

6. I-JEPA / V-JEPA 2 · 在特征空间做预测

核心区别：不预测像素，而是预测目标区域的抽象表示。

 1Image
 2→ context blocks → context encoder
 3→ target blocks → target encoder
 4→ predictor predicts target representation from context representation

关键点：context encoder 看部分区域；target encoder 编码目标区域；predictor 根据 context representation 预测 target representation；loss 在 latent feature space 上计算，不直接重建像素。

为什么有意义：像素重建容易关注低级细节（纹理、颜色、边缘），feature-space prediction 更鼓励学习语义和结构。

V-JEPA 2 = 扩展到视频，通过大规模视频自监督学习视频世界模型，并结合少量 robot trajectories 做 action-conditioned planning。

MAE 是补像素，JEPA 是补语义表示；V-JEPA 是扩展到视频和世界模型。

7. AIM / AIMv2 · 自回归视觉预训练

核心思想：既然 LLM 可以预测下一个 text token，那么视觉模型能不能预测下一个 image patch/token？

 1Image
 2→ patch sequence
 3→ autoregressive Transformer
 4→ predict next patch / visual token

AIMv2 扩展到多模态自回归预训练，把 image patches 和 text tokens 放入统一序列中训练，使用 multimodal autoregressive objective，通过 decoder 生成 raw patches 和 text tokens。

vs MAE：

AIM 是视觉版 GPT，MAE 是视觉版 BERT/Masked Autoencoder。

8. RADIO / AM-RADIO · 多 teacher 蒸馏统一 backbone

问题：视觉基础模型很多，每个擅长的能力不同，能否合成一个统一 backbone？

AM-RADIO 用 multi-teacher distillation 训练一个 student backbone，让 student 同时模仿多个 teacher 的特征或输出，把 CLIP variants、DINOv2、SAM 等模型的能力合并进一个高效视觉 backbone。

RADIO/AM-RADIO 不是发明一种新的 attention，而是用多 teacher 蒸馏融合多个 foundation model 的能力。

几个容易混淆的精细对比

ViT vs Swin

ViT 是最原始的视觉 Transformer；Swin 是更工程化、更适合 dense vision 的层级版 ViT。

DeiT vs DINO

DeiT 是有监督蒸馏，DINO 是无标签自蒸馏。

MAE vs DINO

MAE 学会"补图"，DINO 学会"同一物体不同视角表示一致"。

MAE vs I-JEPA

MAE 是在像素空间填空，I-JEPA 是在语义特征空间填空。

DINO vs I-JEPA

DINO 是"不同视角要一致"，I-JEPA 是"看到一部分要预测另一部分的语义"。

AIM vs MAE

AIM 是视觉 GPT，MAE 是视觉 masked autoencoder。

AIMv2 vs RADIO/AM-RADIO

AIMv2 靠自回归目标自己学，AM-RADIO 靠多个强 teacher 教出来。

面试角度

问：8 种方法你按什么维度分类？ 答：训练目标维度最干净——基础架构（ViT/Swin）、蒸馏式（DeiT/DINO/RADIO）、重建-预测式（MAE/JEPA）、自回归（AIM）。架构本身（global vs window attention）是次要分类。

问：MAE 和 DINO 谁更适合做 VLM 的视觉塔？ 答：DINOv2。MAE 重建像素的目标让特征偏低层（纹理/边缘），dense prediction 强但语义对齐弱；DINOv2 的 self-distillation 让特征自带语义结构，[CLS] attention map 直接对应前景物体，对 segmentation / grounding / VQA spatial 类任务更友好。LLaVA-OneVision / InternVL-3 都用 DINOv2 + SigLIP 双塔。

问：JEPA 不预测像素的优势在哪？ 答：像素重建会浪费 capacity 学纹理 / 颜色这类对下游无用的低层信息；latent prediction 让模型只关注"可预测的语义结构"。V-JEPA 2 在视频上加 action-conditioned latent prediction，直接可做世界模型 + robot planning，是单纯 MAE 思路做不到的。

问：AM-RADIO 跟 ensemble 是什么关系？ 答：不是 ensemble。Ensemble 推理时跑多个模型；AM-RADIO 训练时让一个 student 同时蒸馏多个 teacher，推理只跑 student，部署成本和单 backbone 一样，但能力 = CLIP + DINOv2 + SAM 综合。

问：为什么 ViT 在小数据上不如 CNN？DeiT 怎么解决？ 答：ViT 没有 CNN 的 locality + translation equivariance inductive bias，必须靠数据学出来；ImageNet-1K 数据量不够 → 性能落后 CNN。DeiT 通过 distillation token 让 ViT 模仿 CNN teacher（RegNet）的输出，等于"让 ViT 偷 CNN 的归纳偏置"，从而在小数据上也能训稳。