Google：推测解码加速Transformer等自回归LLM

这篇论文介绍了一种名为推测性解码（Speculative Decoding）的新型算法，旨在显著提升大型自回归模型（如Transformer）的推理速度。该技术的核心在于通过一个小型、低成本的近似模型预先生成多个候选令牌，随后由大型目标模型并行校验这些预测。这种机制充分利用了计算资源的并发能力，在不改变输出分布且无需重新训练模型的前提下，实现了2至3倍的性能加速。研究表明，即使使用极为简单的近似模型，也能在确保生成质量完全一致的同时，有效克服内存带宽带来的延迟瓶颈。这项工作为优化大规模语言模型的在线推理提供了一种简单而高效的通用方案。