解析 MiniMax H3 Image 架构：10秒生成4K图的扩散模型如何做到6步去噪

以下是视频口播的自动转写，可能有错字。

今天凌晨，MINI MAX H3生图模型发布，号称10秒钟就能生成一张4K的高清图，耗时是GPT2.6IMAGE的1/4。那么底层的核心架构是怎么样的呢？我们就一起来看看。首先，MINI MAX H3的核心骨架仍然是扩散模型，当你输入一些文字并配上参考图片的时候，H3IMAGE首先会使用千问3BL大模型。

将图片和文字都输入进去，取第50层的隐藏状态输出，作为扩散模型的语义条件。至于为什么是第50层，而不是第64层呢？官方并没有公布原因，可能是性价比最高。此外，为了能让模型学到更多参考图的特征，并方便生成目标图片，minimax h3还额外引入了图像变分自编码器 vae。

vae 的编码器部分负责将参考图从4096×4096的尺寸压缩到256×256的尺寸，具有24个通道，然后将其打包为128个 token。扩散模型的输入是一团噪声，这团噪声可以初始化为一个256×256，具有24个通道的随机矩阵。按照同样的方式，将其直接重组为128个 token。

拼接在语义信息和参考图片 token 后，接下来要做的就是去噪。h13 image 采用 dit 架构，将前面的信息经过 transformer encoder 之后。得到预测的噪声速度矢量。这一步去噪之后获得的图像 token 等于当前的目标图片 token。

加上速度乘以当前步的步长。这里的步长是先通过定义一个0到1的噪声水平，按照需要扩散的步数，以先小后大的方式分布多个采样点，逐步降低噪声水平。相邻两个点的间距就是所谓的步长。这样第一步去噪之后的图像 token 对应的噪声水平，就是计算之后的噪声水平。

以此类推，依次进行6次前向传播，最终让噪声水平下降到0，就获得了清晰图像的 token。将清晰图像的 token 经过vae的解码器部分，就获得了最终的清晰图像。到这大家也就明白了，h3 image 的核心创新，其实就是用了更好的条件生成模型骨架。

至于为什么那么快呢？主要是扩散只包含了6次循环前向过程。每次迈的步子都更大，核心的难点就在于将原本需要更多步数的扩散过程，蒸馏到了6步。当然，h3 image也只是视频生成模型 h3中的其中一部分。聪明的你马上就能想到，如果我将音频的 vie 也接入进来，拼到输入的后面，同时将输入的参考图像数量进行扩展，那么最终生成出来内容就是带有音频的视频片段。

那么恭喜你，发明了Minimax H3视频生成模型。