AI热点 8小时前 139 阅读 0 评论

刚刚,谷歌摊牌:Genie 3让你1秒进入名画,人人可造交互世界!

作者头像
新智元

AI技术专栏作家 | 发布了 246 篇文章

编辑:犀牛

【新智元导读】谷歌最新发布的Genie 3世界模型,正以惊人AI能力颠覆想象:从文本生成交互式空间,到进入经典名画如《苏格拉底之死》和《夜游者》自由探索,甚至训练3D模型实现沉浸式体验!

谷歌摊牌了,彻底不装了!

他们前几天刚刚发布的Genie 3世界模型,正在疯狂展示AI的超能力。

它不只是能从文本中生成交互式的AI空间世界,还能操控图像和视频。

比如,你现在可以进入到世界名画中去,随意的在其中移动、观察。

这种身临其境的现场感,对于喜欢艺术的同学不要太爽。

有网友就用Genie 3进入到了Jacques Louis David的名画《苏格拉底之死》。

这幅1787年的油画是新古典主义的代表作,现藏于纽约大都会艺术博物馆。

画的是苏格拉底被判喝毒芹的那一刻:他还在讲道理、伸手接杯子,学生们有人哭成一片,柏拉图则安静坐旁边。

画面干净利落、光影强烈,把「为理性而死」的硬核形象画得很震撼。

以前,我们只能在二维平面前安静地欣赏大师的杰作。

现在,有了Genie 3的帮助,我们有机会1秒钟回到两千四百多年前,目睹苏格拉底饮下毒芹。

轻轻按下按键,就能穿行其中,更加沉浸地去体会艺术、历史与哲学。

这不仅是AI的超能力,更是其存在的意义——更好地成就、提升人们!

前谷歌XR、地图团队成员Bilawal Sidhu甚至还利用Genie 3的生成,成功训练出了3D高斯溅射(Gaussian Splat)模型。

具体的过程大概是:

  • Genie 3从图像(如油画)生成可互动的动态3D世界,支持实时导航和多视角渲染。
  • 然后,进行内绘(移除UI元素)和放大处理(使用Topaz AI提升4倍超分辨率)。
  • 最后,利用这些处理后的图像训练3D高斯溅射(Gaussian Splat)模型,实现高效的辐射场渲染和沉浸式探索。

除了高斯溅射模型,Bilawal Sidhu还尝试了通过经典的摄影测量流程处理,以提取一个带纹理的3D网格,可以将其导入到任何3D工具中。

效果虽然不如高斯溅射来的优雅,不过依然可用。

最后,Bilawal Sidhu还贴心地将两个模型的链接分享了出来,让大家都可以进去体验。

相当nice

高斯溅射:https://superspl.at/view?id=e05e5eb7

摄影测量技术:
https://sketchfab.com/3d-models/socrates-painting-genie-3-to-textured-3d-mesh-147645d6cc2c4d8c86d23a73f3215b8a

另一个震撼人心的例子是进入到Edward Hopper的《夜游者》。

这是一幅1942年完成的油画,现藏芝加哥艺术学院。

画面是深夜街角的一家餐馆:亮白灯光、玻璃窗内三位顾客与店员,外面空无一人、几乎看不见门。

它是美国现实主义的标志品,被电影、广告与摄影不断致敬,几乎成了「现代城市深夜感」的代名词。


通过Genie 3进入到画中,仿佛你自己就成了那个「夜游者」。

街道上空无一人,孤独、寒冷更加真实地扑面而来。

当然,除了进入名画之外,你还可以把它当作一个游戏来玩。

比如,像下面这种,操控一只狗狗在沙滩上奔跑。

可以随时切换视角,就是那种自由的感觉。


网友热评

网友Hasan感叹道,只需5-10年,我们每个人都会进入到自己的虚拟世界中去。

网友Peter Dedene表示同意,他说「全息模拟舱」这种概念正在变成现实。

参考资料:

https://x.com/minchoi/status/1954200428482097249

https://x.com/bilawalsidhu/status/1954229425199034753

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!