#248. Tri Dao：英伟达主导地位的终结，推理成本为何下降以及速度的下一个 10 倍

📝 本期播客简介Tri Dao 是 Flash Attention 和 Mamba 的主要作者之一，是当今 AI 基础设施领域的关键人物。Flash Attention 技术是大幅降低模型推理成本的重要驱动力，而Mamba则代表了Transformer的替代架构的探索方向。他目前在Together公司担任首席科学家，同时也是普林斯顿大学的助理教授。在本期播客中，Tri Dao深入探讨了AI硬件竞争的格局、下一代模型架构的演进，以及他如何利用AI工具将自己的编程效率提高了1.5倍。他分享了AI推理成本在过去三年暴降百倍的秘密，并预测了未来几年实现下一个十倍性能飞跃的方向。此外，他讨论了学术界与工业界在AI探索与应用中的不同角色，并提出了他认为最能影响未来AI发展方向的悬而未决的问题：如何让AI达到人类专家水平。👨‍⚕️ 本期嘉宾Tri Dao：Together首席科学家，普林斯顿大学助理教授。Flash Attention和Mamba的主要作者之一。📒 文字版精华见微信公众号（点击跳转）🌟 精彩内容🚀 推理成本暴降百倍：Flash Attention的洞察Tri Dao回顾了过去三年AI推理成本下降至少一百倍的原因，核心在于解决了数据移动这个瓶颈。他以Flash Attention为例，解释了如何通过算法和硬件的协同设计，重新组织Attention计算，实现性能飞跃。他同时指出，GPT-4o等模型的成功应用了极端的4-bit量化，大大降低了内存需求。🛠️ AI驱动的效率：1.5倍的生产力提升Tri Dao坦承，他利用AI编程助手（主要是Claude Code和GPT-4o）的“智能体”能力，将自己的工作效率提高了约1.5倍。这些模型擅长编写复杂的GPU内核并提供宏观优化建议，使他能够专注于架构设计而非实现细节。💡 架构的新方向：MOE的稀疏极限与Mamba的价值尽管Transformer架构取得了巨大成功，但Tri Dao认为其达到AGI的成本可能是天文数字。他正在研究两条更高效的路径：一是将专家混合模型（MOE）进行极致的稀疏化，以提高每单位算力获取的智能；二是继续探索Mamba等状态空间模型（SSL），通过压缩历史状态（减少KV Cache）来优化大批量推理场景。🎯 最大的悬而未决问题：如何实现专家级AITri Dao认为，当前LLM在互联网数据覆盖的领域（如前端编程）已达到人类平均水平，但真正的高经济价值任务集中在专家领域（如飞机设计师、医生）。这些领域知识并非基于海量互联网数据。未来最大的挑战和机遇在于，如何让AI掌握专业工具和深度知识，达到与人类专家协同工作的水平。📈 推理市场的三大模式与智能体革命随着工作负载多样化，Tri Dao预测推理市场将分化为三种模式：传统对话、极低延迟（Agentic/Interactive）和超高吞吐量（Batch/RL）。他相信，下一波应用浪潮将是智能体工作负载，这要求推理服务商不仅要优化GPU速度，还要解决模型如何安全高效地连接到外部数据库和人类工具的系统级挑战。🌐 播客信息补充翻译克隆自：Tri Dao: The End of Nvidia's Dominance, Why Inference Costs Fell & The Next 10X in Speed本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺；如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight在小宇宙查看该单集文稿