ReMoGen：通过多样化数据的模块化学习实现实时人体交互到反应生成

ReMoGen: Real-time Human Interaction-to-Reaction Generation via Modular Learning from Diverse Data

现实环境中的人类行为本质上是交互性的，个体的运动轨迹受到周围智能体与场景的共同塑造。这种能力对于虚拟化身、交互式动画和人机协作等应用至关重要。我们聚焦于实时的人类交互-反应生成任务，即从动态多源线索（包括他人动作、场景几何结构及可选的高层语义输入）中生成主体未来的运动轨迹。该任务面临两大根本性挑战：（一）交互数据分散在异构的单人、人-人、人-场景等多个领域，呈现碎片化且规模有限；（二）需要在持续在线交互过程中生成低延迟、高保真的运动响应。为应对这些挑战，我们提出ReMoGen（反应运动生成）——一个面向实时交互-反应生成的模块化学习框架。该框架利用从大规模单人运动数据中学习的通用运动先验，通过独立训练的元交互模块将其适配至目标交互领域，从而在数据稀缺和异构监督条件下实现鲁棒泛化。为支持响应式在线交互，ReMoGen采用分段生成策略，并配备轻量级的帧级分段优化模块，该模块能在帧级别整合新观测到的交互线索，在不依赖昂贵全序列推理的前提下，同步提升系统响应速度与时间连贯性。通过在人-人交互、人-场景交互及混合模态交互场景中的大量实验表明，ReMoGen能够生成高质量、连贯且响应迅速的运动反应，并在多样化交互情境中展现出卓越的泛化能力。