AI训练的黄金配比 深度学习类别数据规模预测研究

这篇文章探讨了如何通过分析特定类别的数据量来预测机器学习模型的性能，而不仅仅是关注总训练量。作者提出了一种基于实验设计（DoE）的创新算法，用于生成具有多样化类别分布的训练子集，从而评估不同类别对模型准确率的贡献。研究对比了幂律模型与反正切模型等多种数学方法，并结合 CIFAR10 和 EMNIST 数据集验证了预测的有效性。实验结果表明，考虑类别权重和训练轮数的反正切模型能更精准地估算性能，帮助研究者优化标注预算。该方法特别适用于数据标注成本高昂的场景，能够识别出哪些类别的样本对提升模型表现最为关键。总而言之，这项研究为理解深度学习中的神经缩放定律提供了更细致的微观视角。How much data do you need? Part 2: Predicting DL class specific training dataset sizes.