ExoActor：外中心视频生成作为可泛化的交互式人形控制

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

近年来，人形机器人控制系统取得了显著进展，但如何对机器人、周围环境及任务相关物体之间的流畅交互行为进行建模仍是一项基础性挑战。这一难题源于需要联合捕捉空间上下文、时间动态、机器人动作及任务意图的规模化特征，而这与传统的监督方法难以匹配。我们提出ExoActor框架，创新性地利用大规模视频生成模型的泛化能力来解决该问题。ExoActor的核心思路是将第三人称视角视频生成作为建模交互动态的统一接口。给定任务指令与场景上下文，ExoActor可合成合理的执行过程，并隐式编码机器人、环境与物体间的协调交互。上述视频输出随后通过一个估计人体运动并经由通用运动控制器执行的流水线，转化为可执行的人形机器人行为序列，最终生成任务条件化的行为轨迹。为验证该框架，我们将其实现为端到端系统，并证明其无需额外真实数据即可泛化到新场景。最后，我们讨论了当前实现存在的局限性，并展望了未来研究方向，阐明ExoActor如何为建模富含交互的人形机器人行为提供可扩展方案，这或将为生成模型推动通用人形智能开辟新路径。