机器人电报10月19日电,全球首个以真实执行结果为基准的动作驱动世界模型评测平台WorldOracle已正式发布,并同步开放评测提交入口。该平台由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校和多伦多大学的研究人员联合研发,核心目标是评估世界模型对机器人动作执行结果的预测准确性。与以往侧重视频生成质量的评测范式不同,WorldOracle以机器人真实操作数据为参照,将模型生成的预测视频与真实执行过程进行逐帧对比,重点考察模型对物理交互结果的预测能力。在数据规模上,WorldOracle目前已收录335条真实操作轨迹,覆盖水果抓取、毛巾悬挂、倒水、抽屉开合等多种任务类型。值得注意的是,其中约40%的交互片段包含失败或次优结果,这为模型在复杂现实场景下的预测鲁棒性提供了更具挑战性的评估基础。
