开源项目 15小时前 153 阅读 0 评论

英伟达一口气开源多项机器人技术,与迪士尼合作的物理引擎也开源

作者头像
量子位

AI技术专栏作家 | 发布了 246 篇文章

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

英伟达在机器人学习大会(CoRL)上一口气发布了多项开源技术,其中最引人注目的是联合Google DeepMind和迪士尼研究院开发的物理引擎Newton。

这次英伟达可谓是“全家桶”式发布:不仅有让机器人拥有”物理直觉”的Newton引擎,还有赋予机器人人类推理能力的Isaac GR00T N1.6基础模型,以及能够生成海量训练数据的Cosmos世界基础模型,直接瞄准了机器人研发中最头疼的几个问题。

包括Boston Dynamics、Figure AI在内的顶尖机器人公司,以及斯坦福、苏黎世联邦理工等知名高校都已经开始使用这些技术。

Newton物理引擎:让仿真环境”真实”起来

全球超过25万机器人开发者都面临着同一个难题:如何让机器人在仿真环境中学到的技能,能够安全可靠地迁移到现实世界?

人形机器人的关节结构极其复杂,平衡控制难度极高,现有的物理引擎已经跟不上需求了。

英伟达Omniverse与仿真技术副总裁Rev Lebaredian认为:”人形机器人是物理AI的下一个前沿领域,需要在不可预测的世界中进行推理,适应环境并安全行动。”

Newton引擎的出现恰好解决了这个痛点。这个由Linux Foundation管理的开源项目,基于英伟达的Warp和OpenUSD框架构建,采用GPU加速技术。最厉害的是,它能够仿真非常复杂的机器人动作,比如在雪地或碎石路面行走,操控杯子和水果等细腻动作。

苏黎世联邦理工学院机器人系统实验室、慕尼黑工业大学、北京大学等顶尖高校已经率先使用Newton。光轮智能和仿真引擎公司Style3D也加入了早期用户行列。

Isaac GR00T N1.6:机器人的“深度思考大脑”

让机器人理解“帮我拿杯水”这样的模糊指令,一直是业界的难题。

英伟达最新发布的Isaac GR00T N1.6开源模型,通过集成Cosmos Reason视觉语言模型,让机器人拥有了接近人类的推理能力,即将在Hugging Face平台上线。

它能够利用已有知识、常识和物理原理,将模糊指令转化为逐步执行的计划。更重要的是,机器人可以同时完成移动和物体操控动作,躯干和手臂拥有更大的活动自由度,甚至能够推开较重的房门。

目前Cosmos Reason下载量已超过100万次,在Hugging Face的物理推理模型排行榜上稳居榜首。英伟达还贴心地提供了开源物理AI数据集,包含数千条合成及真实世界的轨迹数据,目前下载量已经突破480万次。

AeiROBOT、Franka Robotics、LG Electronics等领先机器人制造商正在评估采用Isaac GR00T N系列模型。

训练革新:从抓取技能到全面测试

教会机器人抓取物体是机器人领域最具挑战性的任务之一。基于英伟达Omniverse构建的Isaac Lab 2.3开发者预览版,新增了灵巧抓取工作流。

这个工作流的巧妙之处在于采用了”自动化课程体系”:从简单任务开始,逐步提升难度,同时调整重力、摩擦力、物体重量等参数,让机器人在不可预测的环境中也能掌握技能。Boston Dynamics的Atlas机器人就是通过这个工作流学习抓取技能,操控能力得到了显著提升。

为了解决测试场景零散且简单化的问题,英伟达与光轮智能联合开发了Isaac Lab Arena,一个用于大规模实验和标准化测试的开源策略评估框架,让开发者无需从零构建系统,就能在仿真环境中开展复杂、大规模的评估。

全新AI基础设施加持,机器人开发全面提速

硬件层面,英伟达也是下足了功夫。

GB200 NVL72机架式系统集成了36个Grace CPU和72个Blackwell GPU,各大云服务提供商已经开始采用。RTX PRO服务器为机器人开发的各类工作负载提供统一架构,RAI Institute已经率先使用。

最让人期待的是搭载Blackwell GPU的Jetson Thor,它能够支持机器人运行多个AI工作流,实现实时智能交互。Figure AI、银河通用、Google DeepMind、宇树科技等合作伙伴已经开始采用这款产品。

在CoRL收录的论文中,近半数引用了英伟达的相关技术。卡内基梅隆大学、华盛顿大学等顶尖研究机构都在使用英伟达的GPU、仿真框架和CUDA加速库。斯坦福视觉与学习实验室的BEHAVIOR机器人学习基准测试项目,以及北京大学开发的触觉机器人仿真平台Taccel,都基于英伟达技术开发。

从开源物理引擎到基础模型,从训练工作流到硬件基础设施,英伟达这次的”全栈式”布局,正在重新定义机器人研发的游戏规则。

机器人从实验室走向日常生活的道路,可能比我们想象的要短得多。

参考链接:
[1]https://developer.nvidia.com/newton-physics
[2]https://github.com/nvidia-cosmos/cosmos-reason
[3]https://www.nvidia.cn/ai/cosmos/

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!