豆包AI，动了族谱

机器人终于有了自己的“离线大脑”。

Google DeepMind团队首个可以完全在机器人本地运行的视觉-语言-动作（VLA）模型Gemini Robotics On-Device发布。

这个模型不仅能离线运行，还保持了相当强悍的操作能力，能遵循指令完成各种需要精细操作的任务。

支持从人形机器人到工业双臂机器人的多种机器人本体上部署，响应延迟还低到飞起。

此前3月份发布的Gemini Robotics虽然性能强大，但需要依赖云端计算。而这次的On-Device版本，直接把AI塞进了机器人的“大脑”里，彻底解决了网络延迟和连接不稳定的老大难问题。

给机器人装上本地大脑

团队把Gemini 2.0的多模态推理能力和真实世界理解能力，全都塞进了这个可以在机器人设备上运行的模型里。

由于模型独立于数据网络运行，它特别适合对延迟敏感的应用，并确保在网络间歇性或零连接的环境中也能稳定工作。

评测数据显示，On-Device版本在泛化性能测试中表现亮眼。在视觉泛化、语义理解和行为泛化等多个维度上，虽然比云端版本的Gemini Robotics略有差距，但已经大幅超越了之前最好的本地模型。

在处理分布外任务（out-of-distribution tasks）和复杂多步骤指令时，Gemini Robotics On-Device对比此前的本地模型也展现出了碾压级的优势。

这种指令跟随能力，让机器人真正能够理解人类的自然语言指令，而不是简单地执行预设程序。

快速适应新任务，跨平台部署不是梦

如果说性能强悍只是基础，那么Gemini Robotics On-Device的适应能力才是真正的杀手锏。

这是谷歌首次开放VLA模型的微调功能。

开发者只需要50到100个演示样本，就能让模型适应全新的任务。在测试中，团队在七个不同难度的灵巧操作任务上进行了验证，包括给午餐盒拉拉链、抽卡片、倒沙拉酱等。

结果显示，即使是最复杂的任务，用不到100个样本就能达到相当高的成功率。

虽然这个模型最初只在ALOHA机器人上训练，但团队成功将其迁移到了完全不同的机器人平台上。

在双臂Franka FR3机器人上，模型不仅能执行通用的指令跟随任务，还能完成工业级的皮带装配任务。

而在Apptronik公司的Apollo人形机器人上，面对截然不同的机械结构，模型同样展现出了强大的泛化能力。它能够遵循自然语言指令，操作各种物体，包括训练时从未见过的新物体。

团队还特别强调，他们在开发过程中严格遵循了谷歌的AI原则，采用了语义安全和物理安全并重的整体安全方案。通过Live API捕获语义和内容安全问题，并与底层安全关键控制器接口来执行动作。

SDK开放申请，机器人开发者有福了

为了让更多开发者能够使用这项技术，谷歌同时发布了Gemini Robotics SDK。

这个SDK不仅能让开发者轻松评估模型在自己任务和环境中的表现，还提供了MuJoCo物理模拟器的测试功能。开发者可以先在模拟环境中验证想法，再部署到真实机器人上，大大降低了开发成本和风险。

目前，SDK正在通过可信测试者计划（trusted tester program）逐步开放。感兴趣的开发者可以在官网上申请加入，抢先体验这项技术。

参考链接：

[1]https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/

文章来自于“量子位”，作者“梦晨”。