微软：Bitnet.cpp 手机离线流畅运行千亿大模型

Bitnet.cpp 是由微软研究院等机构开发的专为三元大语言模型（如 BitNet b1.58）优化的推理框架，旨在解决边缘设备上非整数比特权重的存储与计算对齐难题。该系统通过引入创新的混合精度矩阵乘法（mpGEMM）库，实现了比全精度模型高出 6.25 倍、比低比特基准高出 2.32 倍的推理速度。其核心技术包括支持无损推理的 I2_S 算子，以及基于**元素级查找表（TL）的计算方案，有效克服了传统位运算的效率瓶颈。实验表明，Bitnet.cpp 在 ARM 和 x86 架构上均表现卓越，显著提升了 100B 级超大模型在个人终端的部署可行性。该研究不仅提供了高效的工业级解决方案，还通过扩展至通用低比特查找表（ELUT）**技术，为未来高性能边缘 AI 基础设施建设提供了理论与实践支撑。