AI热点 6小时前 197 阅读 0 评论

多人有声视频一体化生成!用百度最新AI生成营销视频

作者头像
量子位

AI技术专栏作家 | 发布了 246 篇文章

西风 发自 凹非寺

量子位 | 公众号 QbitAI

最初说不做视频生成模型的百度,现在在视频生成的路上一路狂奔!

就在刚刚,百度蒸汽机(MuseSteamer)视频生成大模型升级至2.0版本,主打多人有声音视频一体化生成

话不多说,直接来看效果:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

蒸汽机2.0更加擅长复杂运镜,用镜头讲故事的能力也更强,画质进一步提升。

再来看下面这个展示,美人鱼的鱼鳞、脸上的妆容细节都精致得很,人物的表演、情绪、声音全都一体化生成:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

除了“正经”玩法,还能拿它来整活,比如让身穿古代盔甲的武士坐在那打麻将:


视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

或者让他踩缝纫机绣花:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

将图片转换成不同风格的视频也可以:

目前用户可通过百度搜索“百度蒸汽机”或登录“绘想”平台体验。

蒸汽机2.0总共有四个版本:Turbo版、Lite版、Pro版以及有声版。

另外,百度蒸汽机2.0全系模型还登陆了百度智能云,企业用户可在百度千帆大模型平台使用蒸汽机API的服务。

价格方面低至行业70%,蒸汽机Turbo有声版价格2.5元/秒,限时优惠两周1.4元/5秒。

更多效果让人眼前一亮

下面来看更多效果展示。

人在海边吹风,海浪和海鸥的音效很自然:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

生成科幻大片,也很有那味儿了:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

让“王爷”和“王妃”穿越时空坐飞机去迪士尼玩,这场面真的很难不笑:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

又或者是生成卡通视频,各种风格都能行:

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

发布会现场,百度还请来了专业影视视效指导姚骐,姚骐曾参与过《黑客帝国 3》《变形金刚 3》等多部好莱坞大片,还有国产科幻剧《三体》的视效工作。

姚骐在现场展示了其用百度蒸汽机2.0制作的科幻短片《归途》,并表示“蒸汽机让好莱坞级大片镜头不再需要百万预算”。

首创多模态潜在空间规划

在技术方面,百度透露了蒸汽机的几大秘诀。

首先,百度蒸汽机行业首次实现多人有声音视频一体化生成,语音与唇形、表情、动作的毫秒级精准对齐,复杂场景下依然稳定。

另外,团队首创多模态潜在空间规划技术(Latent Multi-Modal Planner),自主协调多角色身份、情感与互动逻辑,保障电影级叙事连贯性。

蒸汽机还有个特点是深度适配中文场景,以超98%的还原度精准呈现中文语音细节与情感表达。

画质方面,端到端电影级画质生成,通过精准主体动态刻画,打造真实细腻的人物表现力。

运镜方面,采用大师级运镜控制,内置数十种专业镜头语言,精准响应文本指令,实现视觉细节与创意意图的完美对齐。

为啥百度现在重仓视频生成?

为什么百度一开始不做视频生成模型,现在又来了个大反转?

百度给出了答案是——蒸汽机的研发是由应用驱动模型研发

百度内部各个实际场景和业务,像搜索、由百万创作者组成的内容生态、分发内容的百度信息流,还有各个垂类以及百度商业,都对视频生成模型有强烈需求。

目前,百度蒸汽机已在百度移动生态广泛使用,进一步强化了百度搜索、内容、商业等生态的多模态体验。

活动上,百度还分享了蒸汽机在多个场景的落地应用。

比如在一汽大众揽境的七夕主题营销案例中,百度蒸汽机作为核心引擎,打造了行业首支汽车类AIGC创意视频《揽境天阶·七夕重逢》。

伊利倍畅成人羊奶粉的AI整合营销案例中,通过百度蒸汽机,制作了伊利倍畅首支AIGC品牌宣传片《漂“羊”过海来看你》。

视频链接:https://mp.weixin.qq.com/s/f_xtC28h3wd1j6cY0_7rYg

说白了,百度做蒸汽机,不是追风口,而是自家生态里的“刚需”推着往前走。

感兴趣的友友可以去薅羊毛免费体验了~

官网链接:https://huixiang.baidu.com/?from=pc_meiti_1

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!