教材即所需：phi-1代码模型

本文介绍了名为phi-1的新型大语言模型，该模型专为代码生成任务而设计，旨在挑战深度学习领域的传统缩放定律。研究人员的核心发现是，通过关注数据质量而非数量和模型大小，他们能够以小得多的规模（13亿参数和70亿token）训练出高性能的模型。该训练过程依赖于一套经过精心筛选的“教科书质量”数据，包括过滤后的网络代码以及通过GPT-3.5合成的Python教材和练习集。尽管phi-1的规模比许多竞争模型小了几个数量级，它却在HumanEval和MBPP等代码基准测试中获得了顶尖的准确率。值得注意的是，对简单代码练习的微调促使模型产生了令人惊讶的涌现能力，大幅提升了模型处理复杂逻辑以及使用 Pygame 和 Tkinter 等外部库的能力。前往小宇宙评论区与主播互动