AI轻松学-03-开源大模型 Llama 3

由 Llama Team, AI @ Meta 提出，介绍了新一代基础语言模型系列 Llama 3, 文中重点描述了通过扩大训练数据（约15T令牌）、显著增加计算量（约3.8×10^25 FLOPs）与精细化的数据治理来提升质量，并基于缩放律选择了接近计算最优的 405B 架构，同时通过分阶段预训练（含扩展至128K上下文）与多轮后训练（SFT、DPO）实现对话对齐与能力增强。整体而言展示 Llama 3 在性能、可用性与开放性方面的进展，为研究社区提供可复现的旗舰模型并推动多模态与安全方向的后续研究。在小宇宙查看该单集文稿