预训练范式与数据

Causal LM、MLM、Denoising、Scaling Law、数据配比、去重——预训练工程面试必考。