机器人电报11月10日讯，智元机器人于11月10日晚间通过”智元 AGIBOT”公众号宣布，正式推出WITA-Omni（硅光动语全模态大模型）。据官方介绍，这是行业内首款具身全模态端到端交互大模型。该模型以机器人本体感知数据为基础进行深度训练，在传统音视频输入输出之外，进一步接入触觉与本体状态等感知信号作为输入，并支持机器人动作、表情等维度的输出，使机器人首次具备面向物理世界的”交互大脑”。
在技术架构层面，WITA-Omni采用流式全双工架构，机器人可在听取用户话语的同时完成思考、回应、动作执行与表情呈现，大幅削减传统串行处理带来的等待时间。其交互响应最快约400毫秒、平均约600毫秒，速度较行业平均水平快近3倍。同时，全模态拒识能力使机器人无需唤醒词即可进行全程自然对话——系统综合对话朝向、视频、音频、声纹、唇动、姿态、语义及上下文等多维信息来判断当前发言是否需要回应，在多人交谈或环境广播等场景下有效降低误触发概率。
语言能力方面，WITA-Omni支持上百种语言和方言的免切换自由交流，并借助全双工架构实现了流式同声传译（含语言传译与方言传译）及双向互译。在情感表达上，该模型更加拟人：倾听时能以细腻表情和自然的头部动作给予反馈，表达时则通过参数化面部表情、富有感染力的声音和协调的肢体动作，生动呈现开心、惊讶、激动、悲伤、满意、痛哭、认真、自信等几十种情绪，且每种情绪支持不同强度——同样是开心，既能浅浅一笑，也能开怀大笑。
除对话交互外，WITA-Omni还具备可视化能力。当需要讲解复杂产品或给孩子讲述科普内容时，模型能智能决策，在面部屏幕上将难以一言概括的信息实时呈现出来。此外，WITA-Omni可持续感知周围环境、用户状态及其变化，并自主思考、决策与行动，在合适的时机主动发起互动。官方称，这意味着机器人也能拥有自己的”小心思”。