Astera： TTT-E2E让AI边读边改权重

这篇论文提出了一种名为 TTT-E2E 的新型语言模型训练方法，旨在通过测试时训练（Test-Time Training）解决长文本处理难题。该方法打破了传统的静态模型范式，让标准 Transformer 在推理阶段通过预测下一个标记持续学习，将上下文信息直接压缩进模型权重中。研究团队通过**元学习（Meta-Learning）**优化模型初始化，确保其在推理时的在线更新能有效降低预测损失。实验表明，该方法在处理 128K 超长上下文时，性能表现堪比全注意力机制，且推理延迟保持恒定。相较于 Mamba 2 等 RNN 架构，TTT-E2E 在大规模训练预算下展现出更优越的扩展性与执行效率。