"让机器东谈主看懂寰球、听懂提醒、动手干活"正从科幻走向实践四四色播。

基于大畛域东谈主类视频数据进行视觉预磨真金不怕火，是设备真正场景可泛化机器东谈主操作算法的有用路线。

中枢在于东谈主类操作与机器东谈主行为序列高度相同，因此从东谈主类视频习得的动态表征可迁徙至机器东谈主任务；然而 "从东谈主到机器东谈主" 的迁徙靠近要害袭击，即东谈主 - 机器东谈主数据域间各别（Human-Robot Domain Discrepancy）。尽管二者履行任务时行为看似相同，但其形态存在根柢各别。

这种各别导致了一个伏击问题：即便在海量东谈主类数据上预磨真金不怕火了模子，这些模子一朝平直用于机器东谈主任务时，其发达却经常大打扣头，甚而失败。

来自香港科技大学（广州）的团队提议了一个中枢问题：

若何减少东谈主 - 机器东谈主之间的数据域各别影响，使得从东谈主类预磨真金不怕火中获取的视觉模子，约略更有用地匡助机器东谈主完成本体任务？

在这一问题之下，他们提议东谈主类视频预磨真金不怕火迁徙新范式，行使匹配的东谈主类 - 机器东谈主操作视频，联想语义对王人纪律弥合了这种跨域鸿沟。

其中第一作家周佳明，香港科技大学广州二年纪博士生，筹商标的为东谈主类视频行为效法以及可泛化的机器东谈主操作；通信作家是梁俊卫，是香港科技大学广州助理教育。

传统作念法（如图左）平直用在 Ego4D 等东谈主类数据集上磨真金不怕火的模子行止理机器东谈主任务，这种平直迁徙的纪律当然会受到东谈主类 - 机器东谈主数据域各别的打扰。

本筹商提议的新范式（如图右）通过行使语义对王人的东谈主类 - 机器东谈主视频对，在现存的东谈主类视频预磨真金不怕火模子中插入 Adapter 微调模块，通过对比亏欠将机器东谈主数据上退换的模子的语义和预磨真金不怕火模子中雅致建模的东谈主类动态语义进行对王人，从而减少域各别的打扰。

HR-Align 向上东谈主机语义鸿沟的桥梁

凭证提议的预磨真金不怕火适配新范式，该责任联想了 HR-Align（Human-Robot Semantic Alignment）纪律。其中枢念念想很是温和：

如若约略获取"团结个任务"的东谈主类操作视频和机器东谈主操作视频，并用它们之间的对应关系来提醒模子微调，那就有可能修复起一个东谈主 - 机器东谈主之间的语义对王人机制。

1. 从"零丁预磨真金不怕火"到"配对视频语义对王人"

传统的视觉预磨真金不怕火纪律是在纯东谈主类视频上进行磨真金不怕火，然后将模子"冻结"，平直应用于机器东谈主任务。这种时势忽略了东谈主和机器东谈主领域间的各别。HR-Align 粉碎了这种"平直迁徙"的壁垒，目的在预磨真金不怕火和卑劣任务之间，引入一个"适配阶段"。

在这个阶段中，筹商者使用了一个具有语义配对的东谈主机数据集四四色播，这个数据网络每一个东谈主类行为视频，都有一个对应的机器东谈主操作视频。这种东谈主 - 机器东谈主视频对提供了一个自然的"语义桥梁"。

2. 引入对比学习机制，结束语义对王人

HR-Align 适配的要害是东谈主 - 机器东谈主对比对王人亏欠。在适配历程中，关于已有的东谈主类视频预磨真金不怕火视觉编码器，HR-Align 折柳从东谈主类视频和机器东谈主视频中提真金不怕火冻结的语义特征。同期，使用另一分支在编码器中引入轻量级 Adapter 模块在机器东谈主视频上微调，从而提真金不怕火机器东谈主视频的适配特征。模子适配的中枢不休是，比拟机器东谈主视频的冻结特征，机器东谈主视频的适配特征与匹配的东谈主类视频特征应当具有愈加相同的语义；

3. 轻量高效，适配通用

与其他需要大畛域再行磨真金不怕火、或者为每种机器东谈主环境单独退换模子的有筹办不同，HR-Align 具备如下上风：

参数高效：仅适配小模块，主模子无需大畛域更新；

通用性强：团结个适配模子可泛化至多个任务和环境，无需逐个定制；

数据易得：越来越多的平台提供东谈主 - 机器东谈主视频对，为纪律的可落地提供保险。

实验成果

在 RLBench 的 18 个仿真任务下，通过 HR-Align 纪律适配的 D4R-Align 模子比拟底本的 D4R 预磨真金不怕火模子，平均得胜率擢升了 4.6%；而通过 HR-Align 纪律适配的 R3M-Align 模子比拟未退换的 R3M 模子，平均得胜率擢升了 8.9%；

在五个真正场景的机器东谈主任务上，D4R-Align 和 R3M-Align 模子比拟未适配的预磨真金不怕火模子，平均得胜率折柳擢升 13% 和 11%；

这些显耀的擢升不仅考据了纪律的有用性，也标明该适配战术具有极高的本体应用价值。

中枢孝敬追忆

提议新问题：从大畛域东谈主类视频预磨真金不怕火中学习可泛化机器东谈主操作，东谈主体 - 机器东谈主数据的域各别问题不成无情。

提议新范式：通过匹配的东谈主 - 机器东谈主行为视频，结束东谈主类行为与机器东谈主操作的语义对王人，不再盲目依赖预磨真金不怕火模子的泛化才调。

高效适配纪律：引入轻量级 Adapter 模块，仅需少量参数微调，即可将模子适配到机器东谈主任务中。

充分实验考据：在 20 个仿真任务与 5 个真正机器东谈主任务中均取得越过 7% 平均得胜率擢升，适配模子显耀优于未适配版块。

论文聚首：  https://arxiv.org/pdf/2406.14235

样式主页：  https://jiaming-zhou.github.io/projects/HumanRobotAlign/

开源仓库：  https://github.com/jiaming-zhou/HumanRobotAlign

一键三连「点赞」「转发」「防备心」

接待在挑剔区留住你的概念！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 样式主页聚首，以及关系时势哦

咱们会（尽量）实时回应你

� � 点亮星标 � �

科技前沿进展逐日见四四色播