NEO‑VLA推出原生视觉‑语言‑动作机器人策略

机器人电报11月16日讯,近日,南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队联合发布了 NEO-VLA——一款无独立视觉编码器的原生视觉-语言-动作(VLA)机器人策略模型。该模型突破了当前主流 VLA 模型依赖外置预训练视觉编码器的架构范式,将像素直接输入主干网络,在仿真与真实机器人任务中均展现出优异表现,为通用机器人操控提供了新的技术路线。

传统 VLA 模型普遍采用”图像经独立视觉编码器压缩提取特征后,再送入语言大模型”的两阶段架构。然而编码器在抽象特征的过程中,会丢失局部几何、边缘、深度等对机器人操控至关重要的底层视觉信息,制约了精细操作与泛化能力。NEO-VLA 则彻底移除外置视觉编码器,像素经由轻量化卷积 Patch 嵌入层直接送入原生视觉-语言主干 NEO-2B,图像 Patch 与语言指令在每一层中同步处理;配套 Flow-Matching 动作专家模块可读取主干网络任意层的缓存特征,输出连续机器人动作,实现”像素输入、连续动作输出”的端到端链路。

研究团队通过大量消融实验得出多项关键结论,揭示了机器人视觉运动学习的内在规律。首先,操控相关视觉信息分布于模型多个层次,并非仅存在于最后输出层:冻结主干网络时,读取浅层特征的策略效果最优;完整微调后,跨多层读取特征的方案性能最佳。干预实验表明,模型 0-10 浅层对动作预测影响最大,而几何信息、图像外观、语言指令分别在网络不同深度产生最强作用,说明机器人控制不能仅依赖顶层输出特征。

其次,性能提升源于原生联合预训练,而非简单开放编码器中间特征。团队将 Qwen3-VL 的中间视觉特征直接开放给动作专家后,冻结主干条件下 LIBERO 任务成功率不升反降,从 79.5% 跌至 64.9%;而 NEO-2B 在冻结主干的情况下即可达到 90.9% 的成功率。这表明,简单复用现成多模态模型的编码器中间特征并不能有效提升机器人操控性能。