Astera+NVIDA：TTT-E2E Test-Time Training让AI边阅读边重塑大脑

TTT-E2E 新型长文本语言建模方法，其核心理念是将处理长序列视作一个持续学习过程，而非单纯的架构设计问题。该方法基于标准的 Transformer 架构并采用滑动窗口注意力，但在推理过程中通过测试时训练（Test-Time Training）将上下文信息压缩进模型权重中。为了解决训练与测试阶段的匹配问题，研究者在预训练阶段引入了元学习机制，使模型提前适应这种动态更新过程。实验表明，该方法在 3B 规模模型上展现出了与全注意力机制相当的扩展性，同时保持了类似循环神经网络的常数级推理延迟。在处理 128K 超长上下文时，TTT-E2E 的运行速度比全注意力模型快 2.7 倍，为解决长文本建模的效率与性能博弈提供了新方案。