Meta：Fast Byte Latent Transformer内存带宽降低一半

Fast Byte Latent Transformer (BLT)，这是一系列旨在提升字节级语言模型推理效率的新技术。研究人员开发了 BLT-Diffusion (BLT-D)，通过引入块状扩散目标，使模型能够并行生成多个字节，从而大幅减少了计算次数。为了兼顾生成质量，作者还提出了 BLT-S（自投机） 和 BLT-DV（扩散验证） 两种扩展方案，利用模型自身的解码器进行预测与验证。实验结果显示，这些方法在保持强大任务性能的同时，将内存带宽成本降低了 50% 以上。这项工作有效克服了传统字节级模型生成速度缓慢的瓶颈，进一步缩小了其与子词化模型之间的效率差距。