AI热点 6小时前 101 阅读 0 评论

Wan2.2-Animate又火了,5分钟让抠脚大汉秒变高冷女神。

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

最近,一个视频在推上传疯了。



一张美女照片,加上一条自己录制的视频,就能生成一张极其自然的换脸视频,表情和动作复刻的都很好。


而它用到的,就是阿里家的开源模型,Wan2.2 Animate。


其实Wan2.2 Animate一个月前杠发布的时候就火过一波,不知道你们对这个宅男变身女主播的视频眼熟不,当时我刷到了n次。



然后你会发现,这次再火起来,流量密码依然没变。


搞颜色还是第一生产力。。。


但你们都知道,一个模型,它能搞颜色,不代表它只能搞颜色。


相反,很可能意味着它上限很高。。。


毕竟在座的各位都是老司机,阅历惊人,出来的效果如果哪里不自然,大概率一眼就看得出来。


至于效果,直接给大家看看,我用我自己的视频加上不同角色的图片,做出来的效果。



更复杂的表情,它也能复刻。


由于我自己确实是个不爱拍照的I人,表情没那么丰富,这里借用听泉老师代为出镜一下。


再加上一个美女。



出来的效果是这样的。表情模仿确实很到位,就是感觉高冷美女一下子变成东北银了。



想得到更逼真的效果呢,还可以变声线。


直接做一条声音来替换就行,海螺+剪映就可以实现。


这样就能同时替换形象和声音了。


我用海螺做了声音,出来的效果是这样的。



你也很难想象这个视频的背后是一个我这样的糙老爷们对不对。


所以,不多说什么了,朋友们,网恋有风险,奔现需谨慎。。。


万幸的是,现在的Wan2.2 Animate还不能做到实时输出,否则你想一下,假设以后郭老师,良子这些人也能当颜值主播开直播了,那会是一个怎样的世界。。。


当然了,类似于这种在违法边缘疯狂大鹏展翅的事情,我不会干,而且我也,绝对绝对,不希望任何人这么干。


不过话说回来,如果你的诉求就只是想给自己整一些小哥哥小姐姐的舞蹈视频看,用它还是很方便的。



也可以拉一个你喜欢的角色来复刻跳舞,比mmd方便多了。



动作表情啥的都挺到位的,但也有个问题,就是,一旦手部动作多了,手指还是很容易崩坏。


这个问题目前比较无解,很难顶。


除了跳舞之外,还可以做一些影视二创。


比如,让赵本山出演《了不起的盖茨比》,还原小李子经典镜头。


Welcome to 乡村大舞台,有梦你就来。



还有这个经典的梗,接着奏乐接着舞,可以直接换了一个人来演。



当然,我推荐这个模型的原因不只是因为效果好。


类似的东西去年就有了,Runway,Viggle,都能实现。


但问题是,这些模型都不开源。


像Wan2.2 Animate这样一直走在开源路上的,已经不多了。。。


想玩这个模型,最简单的方法就是去通义万相官网,网址在这里:


https://create.wan.video/


进去之后在底部这里,找到数字人。



然后选择角色替换或者动作模仿,选择专业模式输出,再上传参考图和参考视频,就OK了。



简单说一下动作模仿和角色替换的区别。


假设我们现在有一张参考图A,主体为A,背景为A,一个参考视频B,主体为B,背景为B。


动作模仿就是,主体A在背景A里,做着主体B的动作。


也就是让参考图动起来,模仿视频中的动作和表情。


角色替换则是,主体A在背景B里,做主体B的动作。


就是保留原视频的背景环境,用参考图中的角色替换视频中的角色。


这里面还有一个小技巧,就是,如果想要达到开头case那种只换脸不换背景的效果,可以多加一个流程:在视频中截一帧,用这一帧图和角色图,在seedream或者nano banana上,生成一张和视频中背景完全一致的图,把这张图作为生成视频的参考图。


举个例子,这张拼图的左边,是我从视频里截的一帧,右边是我生成的用于替换我自己的角色图。



然后我用即梦,生成了一张和视频中背景一致的图,长这样。



最后把这张图放进去跑case,出来的就是一张,和原背景一模一样的换脸视频了。



有了这些输入,你基本上就可以愉快地开始玩耍了。


如果你想进行本地部署的话,Wan2.2 Animate也完全开源了:


https://github.com/Wan-Video/Wan2.2



目前也支持了ComfyUI。


从技术的角度看,Wan2.2 Animate的意义,绝对是积极的。


它把过去需要昂贵动捕设备、专业动画师才能实现的表情和动作捕捉,变成了一个普通人点几下鼠标就能完成的事情。


而且,是开源的。


这也意味着,真的可以进入到企业、剧组里,进行私有化部署,来做很多的实际效果。


这也意味着很多独立动画师,可以用极低的成本,让自己的角色活起来。


更意味着电影制作,可以在特效、数字替身、甚至虚拟演员这些领域,打开全新的想象空间。


要知道,专业动捕真的很贵的。。。


而且,除了用Wan2.2 Animate来去做角色替换之外,还有一些其他的流程,也是很好玩的。


比如,我的好基友@GongWangG,在组里用Wan2.1-Vace,玩的实验小demo,Wan2.2 Animate不是做角色替换嘛,但用Wan2.1-Vace,也可以用来保持角色一致性,但更改掉整个背景做实拍合成VFX。



这种流程,也是非常酷的。


未来我们也许能看到已经逝去的演员,在新电影里“复活”,用AI完美复刻他们的音容笑貌和表演风格,也许也能看到很多经典的场景被复刻出现,而我们就在其中畅游。


这在技术上,已经不再是科幻。


它降低了创作的门槛,解放了生产力。


但是。


凡事,就怕这个但是。


这些技术,同样可以,毫不费力地,割开我们现实世界的信任基石。


就说一个最实际的。


你在网上看到一段视频,某个公众人物,说着极其出格的话,做着极其不齿的事,视频看起来天衣无缝,没有任何破绽,你信不信?


所以我说,我之前还犹豫了一下,要不要写这篇文章。


但想了想,最后还是决定写出来了。


我们理应看见它的好,也看见它的坏。


技术永远是中立的。


它就像火,可以取暖,也可以焚城。


但真正重要的。


是那群握着火把的人。


我相信,我们还是一群。


用火取暖的人。


文章来自于“数字生命卡兹克”,作者“卡兹克、水杉”。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!