EP.5 预训练时代即将终结吗？互联网数据用完了？聊聊Ilya对未来AI的预测

在刚刚的NeurIPS 2024中，OpenAI 前首席科学家 Ilya Sutskever 在发表公开演讲时指出，当前 AI 模型预训练方式将不可避免地走向终结。Ilya 认为，互联网数据资源就像化石燃料般正在逐渐枯竭，虽然计算能力不断提升，但数据增长速度已见顶，“我们只有一个互联网”这个物理限制无法突破！这次就从我个人的角度，和大家聊聊到底预训练时代终结了吗？00:00 Ilya说了什么？预训练时代结束了，数据是AI的燃料，虽然我们有了更强的算力，更好的算法，更大的集群，但是我们只有一张互联网，数据枯竭了！01:16 为什么会有争议？Ilya过于精炼抽象的语言、以及工程背景看待问题的角度和大部分人不同03:00 从AI工程角度，数据和信息是不同的数据(data)是高质量的信息，信息(infomation)未必是高质量的数据03:57 AI工程中，数据比信息重要。高质量的数据是AI的燃料，脏数据就像加错了油！对ilya而言，如果没高质量数据，那么预训练时代结束了！05:28 但在AI的应用中，信息反而比数据更重要！ 否则AI就像一个老教授，回到家连苹果都不会削！09:32 我的观点：工程上的预训练时代结束了，应用上的AI时代开启！10:59 关于AI的下一步，Agent、合成数据、推理中的计算能力。聊聊之前分享的Speak、Cursor、Harvey等例子17:00关于超级智能（super intelligence） 。超级智能将更像个人，如何用好超级智能，就好比如何管理比你强的人？21:29 超级智能，需要的是超级个体。而超级个体，它的重点不是个体，是超级。【关注我们】：微信：Roisu117📕小红书：叫我小苏就好啊、JustSayAI📺B站：叫我小苏就好啊▶️油管：JustSayAI♻️视频号/公众号：JustSayAI在小宇宙查看该单集文稿