BeyondWeb：30亿小模型靠重构数据逆袭

这项由 DatologyAI 团队开展的研究推出了 BeyondWeb，这是一种旨在克服互联网预训练数据短缺（即“数据墙”）的合成数据生成框架。该研究系统地对比了生成器驱动型（从无到有创造知识）与来源改写型（对现有网页内容进行重塑）两种范式，证明了后者在效率和质量上的优越性。BeyondWeb 通过针对性的文档改写、风格匹配和策略多样化，实现了比传统网页数据集高出 7.7 倍的训练加速，并显著超越了 Cosmopedia 等主流合成数据集。实验表明，合成数据并非简单的知识蒸馏，其成功的关键在于提升信息密度和填补分布空白，而非仅仅依赖更大规模的生成模型。最终，研究指出通过精细的科学设计，3B 规模的小模型在合成数据训练下甚至能击败 8B 的大模型，从而为大语言模型预训练建立了全新的帕累托前沿。