用低配显卡和 ComfyUI 手搓一集 AI 漫剧:从部署到 MiniMax H3 视频直出
适合所有新手小白学习的课程,低配显卡纯手搓一集AI漫剧 这期视频将会从部署到生图工作流的搭建以及生成以及MiniMax H3视频的直出,有更详细的可以看10月28的那个教程#comfyui #comfyui教程 #AI漫剧制作 #AI视频制作 #AI工具
作者演示了用低显存版 ComfyUI 整合包从软件部署、文生图到图生视频的完整流程,最终用 MiniMax H3 工作流直出视频。教程中 6~8G 显存模式可选,z image turbo 生图约 40 秒出一张 1K 图,并讲解了模型加载、提示词、采样、解码、输出五个环节的节点连法。作者还对比了 relay vsr 放大效果,2K 约需十六七分钟,4K 更清晰但耗时明显更长,性价比偏低。
作者用低显存 ComfyUI 整合包从部署到出片完整走了一遍,还对比了 2K 与 4K 放大的清晰度和耗时差异,适合跟着录屏复现。
- 点赞
- 29
- 评论
- 2
- 分享
- 2
- 收藏
- 23
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
可能你还不知道,这种 ai 短剧是可以用低配显卡零成本做出来的。今天教大家如何用零成本生成一条短视频。我们将从软件部署、文生图、图生视频,最后到 ai 视频生成。软件我们用最新的 comfyui 低显存版整合包。低显存的小伙伴选6~8 g 显存模式,用的模型是 minimax h3终极版工作流,四步加速,lora 加新版多参,直出4k画质,做出来的人物不油腻,文戏武戏都能轻松拿捏。
工作流和整合包老规矩吱一声,话不多说,开始教学。我们使用任何的一个。解压缩的工具啊,给它解压出来就可以了啊。解压出来之后,就可以得到我们 comfyui 的一个运行的根目录了。那么这里值得提的一句就是我们的 comfyui 路径啊尽可能的简单一点啊,不要套太多的文件夹。
同时呢我们这个根目录路径下啊,最好不要有中文啊,所以我们还需要手动的将这个中文啊给它删掉。避免报错,然后我们点开文件夹。啊,找到我们根目录底下的这个 comfyui 的启动器,我们双击一下。可以看到,这个就是我们的一个启动器了。啊,正常来说,我们直接点击启动 comfyui,它就可以启动了。
啊,我们点击一下。好的,那么现在大家看到的就是我们 comfyui 启动成功之后。默认的一个界面了啊,它是会有一个默认的工作流摆在这里的啊。这个是我们的 z image turbo 的一个基础的一个生图的工作流。那么这个时候呢,大家是没有生图模型的啊,所以说是跑不了图片的。
那么这个时候呢,我再来演示一下这个模型的安装方法。首页底下的这个模型目录这个按钮,点击之后呢,系统会弹出我们这个 conf ui。跟目录底下的一个模型放置的一个文件夹,这个时候我们就只需要将我们模型给它拖入,啊,我们的这个模型文件夹底下就可以了。
啊,比如说 diffusion models,我们可以找到啊。根目录底下的 de- diffusion models,我们点开来,这个时候是空的。这个模型给它放到 diffusion models 这个文件夹底下,就可以完成装了。完成之后,我们来到这个 unit 加载器这里,啊,这 unit 加载器呢,就是加载我们的这个大模型用的。
我们点击一下就可以看到这个下拉菜单里面有很多的模型可以选择。好,那我们就选择我们刚刚安装好的这个模型。Hubble clip 我们选择的是这个,啊,这个千问4b 的这个 clip 模型啊,然后还有这个 vae 模型啊。vae 模型的话,我们要选择这个是 ae 的这个模型哈。
然后我们调整一下生图的一个尺寸,宽度的话我希望是1088,高度是1920。让它出一个16:9的竖图。然后我们在 clip 文本编码这里的话,输入自己想要的一个提示词,我们输入进去。啊,因为 z image 呢,它是国产的一个模型,所以它是支持中文的,好吧?
ok,那我们输入完成之后,我们就点击运行就可以了。好,那图片生成出来,就说明我们的这个 comfyui 是已经部署成功了啊。我们可以看到这个生图的速度也是比较快的,只用40秒的时间就跑了一个啊1k的一个图片出来。好的,那我们接下来来讲一下我们工作流的一个大致的组成部分啊。
那么这个工作流呢,就是我们上一节课用来测试 comfyui 是否部署成功的那个工作流啊,就是 z image turbo 的一个生图的工作流。啊,那不管是什么工作流呢,它大致遵循的都是啊,模型加载,然后到提示词输入,然后采样、解码、输出,就这四个部分啊。
那么像采样区啊。我们这个 k 采样器,大家可以把它理解成我们图像生成的一个画板。啊,我们图像生成的过程呢,都是在 k 采样器中进行执行的啊。比如说这个步数的话啊,就是他花了多少步去完成这幅画。Cf 值呢,是它的这个提示词的遵循强度,好吧?然后就是采样器呢,是它的一个采样算法。
然后它这个是它的一个控制逐渐移除噪波的一个方法啊。那我们刚刚说了这 k 采样器,它就相当于一个画板。那我们这个节点的话啊,像这个空 latent 图像的这个节点,就相当于控制啊我们这个画板的一个尺寸大小的这么一个节点。啊,然后就是模型区啊,啊,那么这个模型区里面加载的模型呢,就相当于啊各个功能,负责各个功能的大脑。
那比如说啊像 unit 的加载器,它加载的就是一个图像的,啊,z image turbo 这个生图的大模型。那么它生成出来的图片,啊,它的质量和效果呢,就由这个啊大模型来决定的。啊,那像?啊,那像这个采样算法的话,它影响的就是我们这个采样的一个方法。
啊,那这个加载 clip 这个节点呢,它加载的是 clip 模型。啊,那这个 clip 的模型呢,它就相当于是一个翻译官。你的提示词它是中文或者英文啊,但是它模型它其实是不认识这些文字的。啊,那我们 clip 的模型就是负责把我们这个文本编码框里面的这些。
把文字给它翻译成模型能够听懂的指令,然后像这个VIE模型啊。啊,然后还有这个vae模型,那vae的模型呢,其实和clip的模型的作用其实是一样的啊,那么vae就负责把k采样器它生成出来这个图片,通过vae编码啊。通过 vae 解码,给它解码成人类可以看得懂的这种形式。
然后就是提示词区啊,我们可以看到这个绿色的文本编码,它这个条件是连到这个正面条件这里面的。意思就是这个文本框输入的是正面提示词。啊,那底下的这个红色的文本编码框连接的是负面条件啊。意思就是它是负面提示词。什么是正负面提示词呢?啊,正面提示词就是你想让画面出现什么样的内容啊,我们就在正面的这个 clip 文本编码框这里去填写就可以了。
那么同样的啊,如果你有不想看见的东西,那么你就写在这个红色的文本编码框这里就可以了。那这边的话就是我们一个啊图片输出的一个节点了。Ok 那么以上就是我们这个工作流的一个啊大致的组成部分的一个讲解了啊,那如果我们想要自己从零去搭建的话,其实也很简单啊,我们可以先啊来一个 k 采样器。
来个 k 采样器啊,然后我们直接啊连一下模型,模型的话我们选择 unit 加载器。啊,然后我们这个啊模型的话,记得选这个 z image turbo 啊,那我们中间还需要有一个采样算法。Power flow, ok, 我们给它啊。我们给它连过来。
这里的数值呢,我们填成3啊。然后呢,我们这个啊正后面条件呢,它是要连接我们的这个啊 clip 文本编码的,啊,这个就这个框。然后同样的正后面我们都需要连接一个。啊,然后这个 clip 文本编码框呢,我们需要有一个翻译我们的文字,翻译成数字语言的一个大脑。
所以说我们需要加载一个 clip 文本编码。啊,加载一个 clip 文本编码的模型啊。然后我们这里的话选择千问的一个啊对应的模型,然后我们类型选择 lumina。Ok,好,然后我们给它连上。对吧,然后还有我们这个 latent 图像,这个 latent 图像呢,就是决定我们这个啊 k 采样器这个画布的一个大小的一个节点啊。
那这个空 later,好吧,那你想要什么?那你想要这个画布,生成出来的这个图片有多大呢?我们就可以在这个节点里面去设置。然后接下来呢,就是我们这个 later 啊,我们 later 呢,给它输出出来之后,要进行一个 ve 的解码。那可以看到我们 vae 解码呢,需要提供一个 vae 的模型,好吧,那我们一样的给它连过来。
加载VIE。啊,然后我们选择这个 ae 的这个啊,ae 模型。啊,然后我们再把图片。输出出来啊,我们保存图像就可以。然后呢我们要改一下步数啊,那么像我们 z image turbo 呢,它这个步数呢就推荐成8步就可以了,然后 cfg 值改成一。
好。发布。一。然后,长期的名称的话,我们可以选择这个。race和simple啊,你看一下是不是?好,没问题啊!那我们这个工作流呢,就这么就搭好了啊,非常简单。那么在刚开始练习的时候,大家还是需要自己去动手去连一下这些简单的模型的。好,那么这就是我们本节课的所有内容了啊。
啊,那么目前来说,这个 singularity 的一个 v2的,参考声视频的一个大模型,配合这个 p 卡 h3的,也是最近开源出来的一个加速 lora 啊,这样的一个模型搭配组合是我目前测试下来啊,效果最好的一个组合了啊。啊,那么这个组合的话啊,它的角色一致性是没有问题的。
啊,人物的皮肤呢也不会油腻,而且也足够还原参考图中皮肤啊细腻的质感。以及呢我这里测试的这个啊人物的演技啊,也可以反映出来这个模型组合对于提示词的这个遵循度是很高的啊。啊,因为我的提示词中呢,它是有比较多的对于表情的一些描写的提示词的啊。它不是一板一眼的在进行对话、念台词。
啊,而且这个皮卡呢,这个 just lara,它在进行一个打戏。啊,也就是说那种,在进行一个高动态的一些视频生成的时候啊,它的这个噪点啊,是要明显的比以往的加速 lora 是要更少的。所以说这个 p 卡的加速 lora 的话,它对于这个高动态的视频生成的话,是有比较好的效果的。
ok,我们直接来到工作流里面,我们来看一下它的一个放大的效果吧。这个节点里面呢,就是一个放大2k的一个效果。那么左边的话是原视频,右边是放大成2k之后的一个效果啊,我们来看一下。啊,不知道大家能不能看得出来这个效果啊?那么原视频的话,它是一个比较糊的状态啊,可以看到它是变清晰了很多的,对吧?
是可以比较明显的看到它的效果的啊!我们可以看到它这个耳环这里啊。对不对?它这个材质一下就很清晰的被啊还原出来了啊。那么这上面的话,它是一个2K的效果,那我们再来对比一下4K的一个效果,好吧。好,我们可以其实可以很明显的看出来啊,它这个4k是要比2k要清晰很多的,而且它这个皮肤的质感啊会更好一点啊,更加白皙一些,然后包括它这个啊角色的眼镜。
那么这个镜框的边缘呢,是变得很清晰的啊,给它放大出来。对吧?而且最重要的是什么?它这个放大的这个时间花费啊,是很短的哈。我们可以看到,这个这个模块的话,就是这个relay vsr 的一个放大的模块了。那么大家的话需要去更新一下 comfyui 的内核啊,把它更新到最新的一个版本啊,就就有这个relay vsr 的一些专用的节点了,好吧?
那么可以看到它这个 k 神器呢,它只进行了一步。啊,只花了20秒就完成了采样,对吧?那么剩下的就是啊解码,还有这个视频的一个合并,啊,就花了差不多2分钟的时间。那么算上它前面的这些一采啊、二采的一个时间的话啊,它总共的时间花费就在一个呃十六七分钟的这样一个样子啊。
那么十六七分钟呢,可以出来一个2K的效果。那如果你是要进行一个4k放大的话,那么它花费的时间就比较多了。我们可以看到采样器这里啊,它花了一分多钟的时间啊。然后这后面的解码呢,花了200多秒。然后再算上后面的这个啊视频合并呢,花了357秒啊,还是非常长的。
所以说4k的话,它虽然说效果确实很好,但是它的这个性价比就有点低了。那么就看大家自己的需求吧。好,那我们来看一下啊,这个 vsr 这个模块怎么去使用?那这里的话,它是有两个啊加载模型的节点的。那么如果大家啊只想要放大两倍的话,那么我们就选择这个 relay vsr 乘以2的这个啊模型就可以了。
我来看一下啊。那我是为大家把这个放大两倍和放大四倍的模型都给大家收拾好了的啊。那大家就根据自己的需求就选择就可以了。啊,那如果你是要放大四倍的话,那么不要忘了啊,把下面的这个 vae 啊,也给它换成。这个啊,放大4倍的这个 ve 啊,给它对应上。
然后就是我们这 vsr decode 的这个节点啊,它这里呢有一个参数啊,就是 detail 的这个细节参数。那么这个参数它的作用是什么?那如果你是把它它的这个最高值呢是1,那如果你设置为1的话,那么它放大出来的这个边缘锐化的程度就会很高。
啊,它边缘的话就没有什么模糊的质感了,就边缘就会变得非常锐利啊。我是比较不喜欢这种感觉的,因为这样的话,那种 ai 的痕迹会很重。那我们还是要给它保保留一点这个边缘比较柔化的一些感觉就好,会显得更加自然一些。然后这个 vsr 的这个视频放大的这个节点,它是不怎么吃你的这个计算机性能的啊。
也不用担心啊,那包括像前面的一二台阶段呢,我也给大家准备了这个低显存神器。那你显存不够的话,你就给它啊,把这个模块给它开起来就可以了。8g、12g显存的用户呢,也是可以跑的啊,但是不要跑那么高像素和那么长时间就可以了。那么参考我的计算机配置的话啊,我的计算机配置就是一个啊5060 ti,16g 的显存,啊32g 的内存,跑一个啊十六七分钟就可以出一个2k 的这样的一个效果的视频了,效果还是非常好的。
那么以上就是对于这个啊 really vsr 的一个啊使用的方法。那么像其他的都是我们之前讲过的,我们只需要在这边呢上传我们需要的参考图,有需要的节点呢,我们就 ctrl 加 b 给它打开就好了啊,不需要的话就给它关上。包括这个参考视频啊、参考音频啊,我都给大家准备好了啊。
然后我们的提示词呢,是在这下面去进行一个书写的。然后在这里呢啊,选择我们啊,像这个一二彩呀。啊,那么我们现在有了这个高清放大的节点之后啊,其实我们的二彩呢,也不需要给它调的很高了,只要它不出现崩脸的这种情况,那我们这个生成的效果就不会差了,好吧?
ok,那么以上就是本期视频的全部内容了啊。
来源:抖音 · 热点搜「H3-Image」 · douyin.com