EP18 专访Danfei Xu：人类数据是伪装成另一种形式的机器人数据

关于Human Data，我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作，集锦可以参考总结篇：Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制，在进入2026年，随着EgoScale等工作发布，我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期，一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注，我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者，他在AI机器人领域有很多出色工作，尤其近两年在如何利用人类数据上有很多探索，比如EgoMimic，EgoBridge，InMimic，EMMA以及EgoScale。Danfei Xu是Georgia Tech的助理教授，同时也参与NVIDIA Research的部分研究工作。他的研究范围比较广，从较为传统的机器人问题，比如manipulation planning和motion planning，到一些较新的方向，例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题：机器人是否能够从人类数据中学习，以及能否从这些人类数据中提取出对机器人有用的知识。第一部分 为什么会关注Human Data1. 基于人类数据的分类第二部分 关于Human data的建模和采集2. 不同技术路线对应的人类数据？3. 如何获取多模态的人体数据？4. 视觉信息是否应该带深度？5. AI眼镜公司有机会替代Aria吗？6. 可穿戴眼镜普及的推动效果？7. 第一视角和第三视角哪种视角更有用？8. 第一视角的数据可以是RGB吗？9. 真正可以scale机器人的human data的收集方式10. 机器人数据的收集需要等穿戴设备先普及吗？11. 人体局部和全身数据怎么协同？12. 全身和局部数据采集能放在同一个设备里？第三部分 关于人类行为的建模13. 怎么对人类行为进行建模？14. 人类行为建模有哪些尝试？15. 怎么看真机数据采集？16. 近期的几个工作介绍17. human data使用的takeaways是什么？18.  怎么看现在操作上的sys2和sys1？19. 如何将System 2围绕长期目标实现？20. 世界模型会是System 2 的基础架构？第四部分 关于Human-robot transfer21. 怎么解决Human-robot transfer问题？22. 真正的通用机器人是否遥远？23. 通用机器人什么时候有雏形？在小宇宙查看该单集文稿