MOMO：无缝物理、语言与图形化机器人技能学习与适应框架
MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation
作者:
Markus Knauer, Edoardo Fiorini, Maximilian Mühlbauer 等13人
分类:
cs.RO, cs.AI, cs.CL, cs.HC, cs.LG
📝 论文摘要
工业机器人应用日益需要灵活的系统，以便非专业用户能轻松适应不同任务和环境。然而，不同的适应需求适合不同的交互方式。我们提出一个交互框架，通过三种互补模式实现机器人技能适应：用于精确空间校正的触觉示教、用于高层语义修改的自然语言交互，以及通过图形化网页界面可视化几何关系与轨迹、检查调整参数、并通过拖拽编辑路径点。该框架整合了五个核心组件：基于能量模型的人类意图识别、基于工具的大语言模型架构（大语言模型选择并参数化预定义函数而非生成代码）以实现安全的自然语言适应、用于运动编码的核化运动基元、基于概率虚拟夹具的引导式示教记录，以及用于表面精加工的遍历控制。我们证明这种基于工具的大语言模型架构能将技能适应从核化运动基元推广至遍历控制，实现语音指令驱动的表面精加工。在2025年慕尼黑自动化技术博览会上，通过七自由度扭矩控制机器人的验证展示了该方法在工业场景中的实际适用性。
📊 核心分析
该论文旨在解决工业机器人应用中，非专家用户难以灵活适应不同任务和环境的问题。研究背景是：工业机器人需要更灵活的系统，而不同的任务调整需要不同的交互方式。
论文提出了一个名为MOMO的交互式框架，集成了五种核心技术：
- 基于能量(energy-based)的人类意图检测
- 基于工具(tool-based)的大语言模型(LLM)架构（LLM选择并参数化预定义函数，而非生成代码）
- 核化运动基元(Kernelized Movement Primitives, KMPs)用于运动编码
- 概率虚拟夹具(probabilistic Virtual Fixtures)用于引导演示记录
- 遍历控制(ergodic control)用于表面精加工
论文的核心创新点在于：
- 提出了一个无缝集成物理（示教）、语言和图形三种互补交互模态的统一框架，允许用户根据任务需求选择最合适的调整方式。
- 设计了一种安全的、基于工具(tool-based)的LLM架构，用于自然语言技能适应，它通过调用预定义函数而非生成代码来确保安全性和可靠性。
- 实现了该工具型LLM架构从运动基元(KMPs)到遍历控制(ergodic control)等不同底层技能模型的泛化，从而支持了语音命令控制表面精加工等复杂任务。
论文的整体贡献是：
- 为工业机器人技能学习和适应提供了一个多功能、用户友好的交互框架，降低了非专家用户的操作门槛。
- 通过在实际的7自由度扭矩控制机器人上进行验证（在2025年Automatica贸易展上），证明了该框架在真实工业场景中的实用性和有效性。
- 展示了如何将大语言模型(LLM)安全、有效地集成到机器人技能适应流程中，为相关研究提供了新思路。