跳到正文
抖音 · 搜「AI视频」· 逐帧拉片-专注AI视频·· 1 天前精选AI 评分58

实测AI视频声音一致性:先分析剧本再设计人物音色

提高AI视频声音一致性 让角色说话更有感情 #AI视频 #libtv #aigc #libtv创作者成长计划 #ai教程

AI 导读

作者实测用参考声音生成AI视频能否解决人物音色不统一,结论是模型无法做到100%一致但基本可用。作者建议先上传完整剧本让AI分析人物音色特征和每句对话的语气提示词,再把这些提示词加入生成指令;对比显示未加提示词的版本反派角色声音偏正派、缺少打斗氛围,加了提示词后音色和语气更贴合设定。作者还从视频中截取约5秒人物音频作参考,生成四个视频测试音色是否跑偏。

打开原文douyin.com
选题角度

作者实测参考声音生成视频的音色一致性,用加与不加声音提示词的两版成片对比反派角色语气差异,适合做效果对比。

博主

粉丝 8.9万

10年编导经验|逐帧拉片创始人 拆解推荐爆款优质AI视频|AI视频教程 争取拉100部优质AI视频 商务🛰️bzys9527

互动数据
点赞
1402
评论
33
分享
538
收藏
442

约为这个来源平时的 1.8 倍

数字来自平台,为最近一次抓取时的数据。

正文

以下是视频口播的自动转写,可能有错字。

最近好多 ai 博主都在推用参考声音生成视频,说这是解决人物音色不统一的终极方案。但真的有这么神吗?今天咱们就来实测一把,看看到底能不能解决这个问题。要是不行,又有什么办法可以替代?我发现很多人做人物声音,喜欢直接先生成一段视频,然后抠出里边的音频当做参考。

但这里边有个大问题,你只给 ai 为了剧本里边的一小段内容,生成的人物声音大概率不符合整部剧的人物性格。所以正确的第一步,得先让 ai 了解你整部剧的内容,再设计人物音色。打开 netv 新建项目,点击底部的 tv direct,上传你的完整剧本,让 ai 先帮你分析剧本。

没有现成的剧本也没关系,切换到剧本创编里边的原创剧本,里面有超多风格可以选,还能直接点击这些按钮设定剧情逻辑。生成过程当中,系统也会给出几个创作方向让你选择,你可以随时修改其中任意一段。比普通 ai 聊天工具写出的剧本要稳得多。剧本搞定后,选择导演指导,上传我们刚刚做好的剧本,输入这段提示词,ai 就会帮你自动分析出整部剧的每个人物音色特征,还有每句对话的语气提示词内容。

非常的专业。把这些提示词加入到生成视频的指令当中,给 ai 做参考,这样生成出来的音色就能更加贴合整部剧的人物设定。这里我们分别生成了两个视频,一个是没有加声音提示词的,一个是加了声音提示词的,我们来看看效果。反应不错,但你挡得住这一招吗?

反应不错,但你挡得住这一招吗?没有加提示词的视频,人物声音虽然饱满,但剧中这个人物是反派,而视频中的人物声音太正派了,并且缺乏打斗现场的氛围感。相对而言,加了提示词之后,人物音色符合反派奸诈的设定,语气呢也符合场景的设定,对比下来效果还是非常不错的。

下一步我们做音色统一的测试,点击音视频分离,然后将对应人物的声音截取出来,这样就能拿到这个人物的参考音频了。因为提取的声音只有5秒,有点短,AI能获得的信息比较少,所以我们可以右击新建一个声音节点,输入这段提示词,生成一段15秒内的对白内容。

生成后我们就以这个音频作为参考,生成四个视频。这四个视频是我直接生成的,没有抽卡,大家可以看看。测试一下人物声音会不会跑偏。就这点火力还不够我热身的。不错不错,总算有点像样的对手了。好好接招,小心冻碎你的骨头。游戏结束了,送你一场永寂冰封。

实测下来,虽然现在的模型无法达到100%的一样,但是这个基本上是可以用的。大家做 AI 视频的时候可以试试。

来源:抖音 · 搜「AI视频」 · douyin.com