DCLM：好数据胜过暴力算力

本文介绍了 DataComp-LM (DCLM)，这是一个旨在通过优化训练数据来提升语言模型性能的开放性基准测试平台。研究团队提供了包含 240T token 的大规模原始语料库、标准化的训练方案以及多达 53 项评估任务，用于探索数据清洗和筛选的最佳策略。实验表明，基于模型的质量过滤（尤其是使用 fastText 分类器）是提升模型效率的关键，能显著降低对计算资源的需求。基于此方法构建的 DCLM-BASELINE 数据集，使 7B 参数模型在 MMLU 等指标上达到了领先水平，性能足以媲美 Llama 3 和 Mistral 等顶尖模型。该项目通过开源数据集、模型和工具，为以数据为中心的大语言模型研究奠定了基础。