全球首个「具身原生」预训练模型发布，从物理世界出发为机器人造大脑！

金磊 发自 凹非寺量子位 | 公众号 QbitAI 终于，那句用来教育年轻人的经典嗑，也是用到机器人身上了： 眼光得放长远点~~[看] 因为一个靠谱的机器人啊，它不能只是看到什么就做什么，现在还得学会预判未来—— 眼睛是看到了当下的这一帧，但脑子应该在盘算几步之后的画面了。 这个事儿在具身智能圈有个专门的名字，叫做VA（Video-Action）模型。 咱们先来感受一下这个feel： 视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA 从视频中我们不难看出，桌上的冰球不仅速度快，轨迹还在不断变化，如果机器人只靠”看到哪打到哪”的反应式操作，大概率要被KO掉的。 正确的解法，应该是模型一边盯着球的运动轨迹，一边提前预判几步之后球会跑到哪，然后提前调整身位、伸拍。 这就是“预判式控制”和“反应式控制”的本质区别。 不过啊，就在今天，VA这件事儿本身也要变了。 因为从现在起，VA模型不仅要“眼光放长远”，还得从娘胎里就是具身的！ 这就是蚂蚁灵波刚刚发布的LingBot-VA 2.0，全球第一个具身原生的预训练VA基座模型。 从架构，到数据，再到训练目标，第一天起就是为机器人量身定制的。 除此之外，其它亮点还包括： 双臂任务成功率93.6%单GPU推理150Hz因果DiT+稀疏MoE主干 和前几天蚂蚁灵波三连弹开源+发布一样，LingBot-VA 2.0一经发布，同样引发了不小的热议，网友们纷纷表示： 机器人技术正在迈入一个新时代。 天生“预言家”的机器人 看完上面这段冰球对战之后，有小伙伴可能会好奇了：LingBot-VA 2.0的这种预判能力，扛不扛得住更复杂的真实任务？ 研究团队在真实机器人身上还做了几组不同维度的测试，可以看出VA模型会先在脑子里做预判，把动作建立在对物理动态的预测之上。 面对一张东西摆得乱七八糟的桌子，机器人要先看懂桌上有哪些物体，哪些应该被移动，移动到哪里。 我们来看下LingBot-VA 2.0的表现： 这项任务背后考验的，是模型对长时间跨度任务的状态维持能力；若是记性不好的话，机器人很可能收拾到一半就忘了自己刚刚收拾到了哪一步。 LingBot-VA 2.0的高维planner面对任务会首先做一个任务拆解，比如左臂负责收拾垃圾归位，右臂把笔和鼠标等文具复位，双臂并行推进还要避免空间冲突。 视频预测分支天然携带时序状态记忆，每一步操作后的桌面新状态都在模型预测范围内，不会出现“断片”返工。 语义视觉-动作分词器让视觉latent同时对齐语义信息，物体类别与目标位置的理解在长序列中保持稳定。 从最终效果看，机器人顺利完成了全桌面整理，说明LingBot-VA 2.0完全可以应对更接近真实生活的长程操作。 这次任务的场景更接近工厂、仓储里的真实作业。 物体在传送带上持续移动，机器人要抓的不是一个静止的目标，而是一个正在移动的目标。 这就要求动作的时间节奏必须和物体的运动节奏严丝合缝地对上，早一点或晚一点，抓取动作都可能扑空。 这个任务考验的是机器人对连续运动场景的时间对齐能力。 同样的，LingBot-VA 2.0加持的机器人依旧成功完成了传送带抓取，动作和移动目标实现了同步。 传统工业方案依赖外部传感器（光电开关、编码器）做触发同步，纯视觉方案则需要模型自己算准时间。产线节拍固定，机器人不仅要抓得到，还要跟得上整体节拍，不能成为产能瓶颈。 LingBot-VA 2.0把物体正在移动这件事直接纳入动作决策，不只是识别当前位置，而是预测抓取动作完成瞬间物体的所在位置，把动作执行的时间开销提前算进去。 比起前两组，这一组的挑战换了个方向。 不比抓得准不准，看得是抓得够不够轻： 我们都知道薯片是又薄又脆的，所以机器人既要精确把握夹爪和薯片之间的相对位置，做到细粒度的视觉伺服，又不能一使劲就把薯片捏碎。 这就对模型保留局部视觉细节的能力提出了很高要求。 从演示结果看，机器人完成了对薯片这类薄片物体的抓取，过程里既要保持视觉上的精细判断，也要控制动作幅度和力度。 虽然这三组任务分别对应的是长程记忆、时间对齐、精细操作三个不同维度。 但其实它们都在指向同一件事儿，即LingBot-VA 2.0是靠对物理世界演化的预测，提前把动作规划到位。 （LingBot-VA 2.0完整能力视频如下） 那么接下来的问题是： 我们可以把LingBot-VA 2.0背后的技术，拆解成四部分来看。 首先，是新一代VAE。 过去做视频生成的VAE，任务相对来说是比较单纯的，就是把视频压缩成一堆latent，再尽量原样解压回去，目标是做到“像”，跟语义、动作没有太大的关系。 但LingBot-VA 2.0用的是一套语义视觉-动作分词器（semantic visual-action tokenizer），它不满足于压缩得像，还要求视觉latent同时对齐语义和动作。 为此，团队让视觉分词器在做像素重建的同时，额外向一个冻结的视觉基础模型对齐特征，把语义信息也塞进latent里。 然后再单独训练一个只看视频、不需要动作标签的隐动作模块；通过一对逆动力学模型和正向动力学模型，从连续两帧latent里反推出中间发生了什么样的动作。 这样一来，哪怕是一段完全没标注过的网络视频，也能被模型学出动作相关的监督信号。 其次，是因果预训练。 第一代LingBot-VA的做法，是把一个双向注意力的视频生成模型“手术式”地改造成单向因果模型，再用有限的机器人数据做微调。 不过这样做的问题在于，这种改造式路线天然存在风险，因为机器人数据本来就稀缺，改造过程很容易把预训练阶段学到的广泛先验知识给磨没了。 所以LingBot-VA 2.0选择了一条更彻底的路：从第一天起就用因果架构从零训练整套模型，让模型天然按照“只能看过去、不能看未来”的时间线学习，这就恰好匹配闭环控制里“当下不能预知未来”的物理现实。 这个因果的next-latent预测目标，既能吃下海量网络视频做自监督，又天然匹配机器人闭环控制的时间结构，不用再走“先学双向、再改单向”的弯路，避免损伤模型原有的能力。 第三个改动，是给模型装上了稀疏MoE。 虽然模型容量越大，理论上越聪明，但如果每次推理都要把所有参数跑一遍，机器人的反应速度肯定跟不上。 为此，LingBot-VA 2.0的解法，是给负责视频预测的这条支路换上稀疏MoE架构——总参数量做大，但每次推理只激活其中一小部分专家网络。 具体来看，视频主干总参数约13B，推理时激活参数只有约1.9B；算上负责动作解码的部分和辅助训练模块，整个模型训练参数量约15.3B，但推理时每个token实际激活的参数只有约2.5B。 如此设计，便让能力上限往上扩的同时，实时推理压力尽量压住。 更直观的结果，体现在推理速度上。 经过一致性蒸馏、低精度编译执行、长程注意力优化和运行时开销削减之后，LingBot-VA2.0的推理时间从baseline的965ms/chunk降到142ms/chunk，异步控制频率也从33Hz提升到225Hz。 换句话说，模型每142ms就能输出一个包含32个action的动作chunk，最高异步控制频率可以做到225Hz。对于需要实时闭环控制的机器人来说，这个速度提升非常关键。 LingBot-VA 2.0最后的改动，便落在了推理阶段的执行方式上。 如果模型和机器人是串行工作的（也就是模型算完一步、机器人才动一步，动完之后再等模型算下一步），那模型的计算延迟，会直接变成机器人的动作延迟，闭环控制的实时性根本无从谈起。 LingBot-VA 2.0为此设计了一套叫Foresight Reasoning的异步推理机制： 机器人执行当前动作片段的同时，模型已经在并行脑补下一步——先想象当前动作执行完之后画面大概会变成什么样，再基于这个想象结果，提前把下一步动作准备好。 但提前脑补这件事本身有风险，如果模型一直拿自己脑补的结果当真实输入，很容易脱离真实物理世界。 为了避免这种漂移，LingBot-VA 2.0会在每一次真实观测返回时，用最新的真实画面重新校准，把脑补的预测拉回现实。 本质上，我们可以把它理解为是一套“预测-执行-纠偏”的闭环机制。 而经过上述四步的改动后，效果也是立竿见影的。 在RoboTwin 2.0这个仿真基准上，LingBot-VA 2.0在Clean（干净场景）、Randomized（域随机化场景）、Avg（平均）三项成绩分别达到93.8%、93.4%、93.6%，相比第一代LingBot-VA的92.9%、91.6%、92.2%都有提升，也全面超过π0.5、Motus等基线模型。 消融实验也印证了新分词器确实有用：在50个任务的Easy/Hard平均结果上，用自研分词器的模型成绩为86.6%和83.1%，明显高于换成通用WAN2.2 VAE方案后的78.0%和76.0%。 MCP（多步预测）这个训练时的辅助目标，同样带来了实打实的效率提升：在50fps的随机化设置下，用了MCP的版本，训练5000步后成绩就已经比不用MCP的版本高出29.7个百分点；而且只用20000步，就能达到不用MCP时训练45000步才能达到的准确率，相当于2.3倍的训练加速。 从整体结果来看，LingBot-VA 2.0已经把“更懂物理变化”、“更高频闭环控制”、“更少样本适配新任务”这几件事，放进了同一套系统里。 机器人大脑，全栈步入2.0时代 最后的最后，我们还需要聊聊一个话题： LingBot-VA 2.0，到底意味着什么？ 这次技术升级开启了“具身原生”的时代，让具身基模正式从“基于数字世界模型的能力嫁接”转向“面向物理世界需求的原生设计”。 机器人模型的训练目标，正在从理解指令、输出动作，往学会预测动作会如何改变世界迁移。 但我们若是把LingBot-VA 2.0放到蚂蚁灵波连续几波开源和发布的这条链路上来看，它的定位、蚂蚁灵波要做的事，会变得更加清晰。 从LingBot-Depth 2.0，到LingBot-VLA 2.0，再到LingBot-Video，直至今天的LingBot-VA 2.0，蚂蚁灵波正在逐步揭开机器人大脑2.0的全貌： LingBot-Depth 2.0解决的是空间感知问题，LingBot-VLA 2.0解决的是当下就能落地的动作执行问题，LingBot-Video补上的是视频生成模型推理效率的短板，而LingBot-VA 2.0，则进一步把这些能力汇聚到预测式控制上。 把它们串起来看，这就是一条非常清晰的，从“看清楚世界”，到“理解物理世界”，再到“在真实世界里连续行动”的完整链条。 对整个具身智能行业来说，这也是一个很值得关注的变化。 当机器人本体越来越成熟，行业接下来要拼的，可能不只是手有多巧、腿有多稳、身体有多灵活。 更关键的会是，这颗大脑，是不是从出生那天起，就真正为物理世界而生。 网站：https://technology.robbyant.com/lingbot-va-v2 技术报告：https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf

在了解相关背景时，不少用户也会通过Polymarket 新闻网 XWW阅读更完整的政策与市场解读。关于「Polymarket信息是否及时」「Polymarket如何开启提醒」等问题，建议通过Polymarket官方渠道完成下载与设置。内容不构成投资建议。