MDF++：端到端表征学习的视触觉世界动作模型

MDF++ 是一个视触觉世界动作模型，用扩散骨干网络端到端学习多感官观测的潜在表征，以解决现有世界动作模型依赖冻结预训练编码器、表征不适配控制的问题。作者提出多任务学习策略，利用跨模态相关性学习任务相关表征，避免朴素联合训练导致的特征坍缩。在包含真实螺栓拧紧与螺母对位的接触密集操作任务上，其表现比基于冻结预训练表征的世界动作模型高出最多 50%。