AI热点 2月前 196 阅读 0 评论

我们用商汤Seko做了一部AI短剧,花了10分钟

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

智东西AI前瞻(公众号:zhidxcomAI)

作者 | 江宇

编辑 | 漠影

智东西8月19日报道,商汤最近推出了一款名为Seko的AI视频创作工具,支持用户输入一句话想法,自动生成包含剧本、角色、画面、镜头、配音在内的完整视频。整个创作过程中,不需要编剧、音效师、摄影师、打光师、剪辑师,只要有一个想法,Seko就能帮你把这部片子拍出来。

为了测试这款工具的完整能力,智东西也进行了实际体验。

一、一句话创意,Seko拆解成“成片策划”

与传统的“文字转视频”工具不同,Seko能将一句话的创意直接拆解为一套可执行的完整方案

用户只需输入大致的剧情设定,无需补充参数或说明细节,系统便会自动生成涵盖六大环节的策划文档:包括策划摘要、美术风格、角色主体、场景概念、音乐风格和分镜剧本,从叙事节奏到镜头语言一应俱全。

用户还可以在策划文档右侧的对话栏中提出问题,进一步微调内容细节

这套流程背后,是Seko以多AI Agent协作为核心的系统,每个模块围绕用户的想法展开工作:有人负责建模,有人调镜头,有人生成配音与对白,搭建起一支无需协调的“AI剧组”。整条创作链条,从人物出场顺序、镜头节奏、配乐情绪到转场方式,都由系统自动衔接完成。

用户也不需要理解技术细节或指定模型调用逻辑,系统会根据内容自动完成分工与调度。

在角色生成方面,Seko支持上传图像来自定义角色。用户也可选择根据剧情设定自动生成角色形象。

二、体验:拍一部比格逆袭的AI爽剧

为了体验Seko在复杂故事关系和多角色场景下的适配能力,智东西尝试拍一部宠物版AI短剧。

在“剧本创作”模式下,输入自然语言指令:拟人形象,写实卡通。一只贫穷比格犬带着一个小车模型,想要送给白猫女朋友,却被白猫女朋友和另一只富裕泰迪狗一起嘲笑他。比格犬非常伤心,然后每日努力工作,最后靠自己的努力赚钱买上了豪华轿车,白猫女朋友和富裕泰迪狗后悔不已。

全员宠物阵容,走的是经典逆袭剧路线。

系统在几分钟内自动生成了策划文档。生成结果的亮点之一是自动生成的角色形象与设定高度贴合:我们并未上传图片,而是让系统根据设定自动生成三个角色(包括比格犬逆袭前后),最终呈现出的外观、语气、配音与剧情设定一致性较高,也丰富了很多道具细节。

另一个体验亮点在于“先确认分镜静帧,再生成视频”的机制。Seko会先给出每个镜头的静态画面,用户可在此阶段提出修改。这个阶段Seko也出现了一些小Bug。例如,“富裕泰迪犬”设定下系统默认生成了一位穿西装的人类男主,而非狗狗角色。我们尝试再次修改设定,但系统未及时响应。

此外,也有不少的镜头中角色动作或外观会出现不一致。

所有分镜确认后,用户可点击“一键转视频”,分镜即可转为动画。

智东西最终生成的视频共3个场景,25个镜头,时长约90秒。节奏流畅,剧情连贯,配音、对白与分镜脚本一一对应。用户还可以逐帧修改台词、配音和镜头结构,编辑过程直观可控

不过整体来看,成片的节奏与内容完成度相对可观,也可以通过编辑功能进一步调优。

结语:创意说出口,Seko能接住也能剪出来

从角色生成到镜头设计,从配音对白到成片导出,Seko几乎把视频创作能自动的环节全包了下来。

这次体验中,不用写分镜、不用配音、不用剪辑,我们就拍出了完整的宠物短剧。

虽然细节上还有优化空间,但整体流程顺畅、内容完整,确实让人看到AI剧组的潜力。对于想快速把想法变成视频的创作者来说,Seko已经是一个值得一试的拍档。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!