FinePhrase：万亿级合成数据实战指南

该文件详细介绍了 Hugging Face 开发的 FinePhrase 合成数据集及其背后的系统性研究。作者通过 90 项实验和超过 1 万亿令牌的生成测试，揭示了将杂乱的网页文本转化为高质量预训练数据的最佳方案。研究强调提示词设计（如 FAQ、数学和图表格式）对模型性能的影响远超模型规模，且 1B 级的小型模型已足以胜任生成任务。此外，文中还分享了利用 DataTrove 基础设施实现高效推理的硬件优化策略与吞吐量基准。最终结论指出，将合成数据与高质量原始数据混合是提升模型常识与专业知识的有效途径。