AI前沿：从“反转诅咒”到手机上的超级AI

本期《TAI快报》深入探讨了五篇AI前沿论文的精髓： On the generalization of language models from in-context learning and finetuning: a controlled study揭示微调的“反转诅咒”，提出用上下文学习增强微调数据，提升模型灵活性。 Wasserstein Policy Optimization推出WPO算法，优化强化学习，适合高维控制任务如核聚变。 Scaling On-Device GPU Inference for Large Generative Models介绍ML Drift框架，通过张量虚拟化让手机高效运行大模型。 Mixture of Sparse Attention提出MoSA机制，降低注意力机制复杂度并提升性能，适合长文本处理。 Base Models Beat Aligned Models at Randomness and Creativity发现对齐可能削弱AI创造力，呼吁平衡对齐与原创性。完整推介：https://mp.weixin.qq.com/s/mC6gmeazgS1G3E1p1lhG5A在小宇宙查看该单集文稿