Stanford：大模型喂垃圾数据反而更聪明

这项研究探讨了在大规模模型预training（预训练）中，数据过滤是否真正必要的课题。作者通过一系列扩展实验发现，虽然过滤在计算资源有限时能提升模型表现，但在高计算量、多参数的情况下，不进行任何过滤的全量数据（如 Common Crawl）反而能取得更优结果。实验证明，足够庞大的模型不仅对“垃圾数据”具有极强的鲁棒性，甚至能从打乱语序的文档中提取有用信息。研究指出，人为设计的过滤规则可能面临“苦涩的教训”，即简单的原始数据规模化最终会取代复杂的手工筛选。基于扩展定律（Scaling Laws）的预测显示，随着未来计算预算的增加，使用未经处理的原始互联网数据将成为提升模型性能的最佳策略。因此，作者建议重新审视当前追求高纯度数据集的趋势，关注原始数据带来的潜在增益。