研究团队构建第一视角网球数据集并评测视觉模型的时空预测能力

研究团队采集带标注的第一视角网球数据集，训练并评测图像编码器、视频编码器和视觉语言模型在七项时空预测任务上的表现。最佳模型当前帧定位误差为自视角球员0.14米、球0.54米，1.1秒内轨迹预测误差分别为0.34米和0.91米，触球时间预测平均误差0.14秒。辅助深度信息明显改善3D球定位，更长的图像历史未提升球轨迹预测；团队还提出条件扩散模型，以实时速率从第一视角视频生成全身网球运动学动作。