DeepSeek 和 Seedance 是不是同一种 AI:从杯子掉落拆解语言模型与视频生成模型的区别
DeepSeek和Seedance,到底是不是同一种AI? 同样输入“一个杯子从桌边掉下去”,为什么一类模型给出解释,另一类模型能生成镜头? 这期从一个杯子出发,用词元概率、训练与生成流程、噪声成形和三路候选动画,拆解语言模型与视频生成模型:输出目标、生成方式、训练和验收标准有什么不同,它们又怎样配合工作。 特别补充:为什么视频生成被叫作“抽卡”?随机种子控制什么?为什么相同 seed 不保证完全一致?语言模型是不是也会采样?合理的创作变化和变形、穿帮又该怎样区分? #DeepSeek #Seedance #大模型 #生成式AI #AI视频
作者用“一个杯子从桌边掉下去”这个相同输入,拆解 DeepSeek 这类语言模型与 Seedance 这类视频生成模型在输出目标、生成方式和验收标准上的不同。语言模型把文字切成词元、按概率选词并接回上下文继续生成,视频模型则先把视频压缩成更紧凑的内部表示,再从随机噪声出发逐步生成画面。
原文用同一个杯子掉落的例子对比语言模型和视频模型的生成流程,还解释了抽卡和随机种子的原理,适合做一期科普拆解。
- 点赞
- 10
- 评论
- 0
- 分享
- 0
- 收藏
- 4
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
同样是大模型,为什么一个能解题、一个能拍电影?区别藏在它们怎么生成答案。想象一下,你给两个模型同一个任务:一个玻璃杯从桌边掉下去,接下来会怎样?DeepSeek可以解释重力,还能帮你写出这段戏;Siddens则可以把下落、碎裂和声音变成镜头。
看起来都在理解你,教出来的东西却完全不同。本质区别藏在三个问题里:它要生成什么?怎样生成?又靠什么判断好坏?先拆开答案,再拆开一段视频。语言模型先把文字切成小片段,也就是词元。一个词元可能是汉字,也可能是词的一部分。模型会根据前文给候选词元分配不同的概率,按概率等规则选出一个,接回上下文,再继续生成。
所以语言模型也可能对同一个问题给出不同回答。但把它理解成输入法,就低估了这件事。要预测一段解题过程,模型得学会利用条件;遇到复杂问题,它可以写出中间步骤,再检查答案。这些仍然是模型生成的内容,也可能推错。在公开的研究中,强化学习会奖励正确答案、数学题能验结果、代码能跑测试,所以训练不止追求说得顺,还会推动它把题做对。
而视频模型交付的是像这样的连续画面。它要同时处理空间和时间,比如十秒视频,每秒24帧,就是240张画面。如果画面是全高清,总共有接近5亿个像素位置。这只是直观的规模演算,不是模型的计算量。模型通常不直接在这5亿个像素上生成。训练时,先把视频压缩成更紧凑的内部表示;生成时,模型在这个空间里创造新的内容,再由解码器把它变成我们能看的视频。
怎么让画面从无到有?一条典型路线是从随机噪声出发,逐步调整文字和参考图像,给调整过程提供方向。模型多次更新,内部表示最终得到画面。这里演示的是原理,不是模型真实的中间画面。这也带来了大家常说的“抽卡”——同一句提示词,换一个随机起点,就可能得到另一种镜头。
比如,同样是杯子掉落,机位和碎片分布都可以不同。随机种子可以用来控制这个起点,但它不是质量分数固定。种子也不保证结果完全一致,反复生成候选,再挑出满意的一条,就像抽卡。有些变化是创作选择,有些却是变形穿帮。给足参考拆短镜头,再针对问题修改,能减少盲抽。
所以区别不是谁随机,而是随机选择的对象和生成过程不同。Seed dance 1.0的公开论文,采用了流匹配训练。训练时,把噪声和视频的压缩表示配对,学习中间状态该往哪边走。生成时从新的噪声起步,按学到的方向反复更新。这里讲的是公开版本的路线,新版可能有不同设计。
视频最难的,也不只是每张图都漂亮。杯子转个角度,杯把不能突然换边。物体被手挡住以后,再出现时还要对得上。所以它要一起协调多帧,不能只把独立图片串起来。再看训练,两类模型的练习材料也有不同。语言模型从文本等数据中学习语义知识和任务规律;视频模型需要视频和描述学习外观、运动与镜头关系;能生成声音的模型还要学习声音和画面怎样配合。
考卷不一样,打分方式也就不一样。一段代码可以问他有没有通过测试,一个镜头还要看人物稳不稳、动作顺不顺。同一句提示词可以对应很多合理的画面,因此视频质量很难压成唯一的标准答案。这种区别也能解释“sit dance”为什么强调创作控制。官网目前展示的2.5版本支持单段30秒,还能参考素材编辑和延长视频,这些能力的价值是让镜头更接近创作者的意图。
到这里,有三个容易踩的坑。第一,能够识别图片,不代表能生成视频。现在的 deepseek 已有视觉理解能力。输入看到了什么和输出能生成什么,是两回事。第二,别把专家混合和扩散看成同一层面的二选一。专家混合说的是怎样分配模型内部的计算,扩散这类方法说的是怎样把结果生成出来,两边也都能使用 transformer 这种网络结构。
第三,视频看起来符合物理,不代表它在严谨地求解物理。漂亮的杯子碎裂镜头不能证明碎片轨迹都算对了,就像一段头头是道的解释。也不保证事实正确。两类模型都需要检查,只是检查的位置不同。如果你要做一条产品短片,最实用的办法是把它们接起来。先让语言模型梳理卖点,把故事拆成几个镜头,你确认事实,再把镜头说明和参考素材交给视频模型,得到画面后检查产品外观、动作和镜头衔接。
一个帮你组织任务,一个把创作意图变成视听素材。所以下次看到一个新模型,先别急着问谁更聪明,看看它输出什么、怎样生成、怎样验证,你就能知道该把哪一部分工作交给它。我是硅基比特,关注我,一起把人工智能看明白。
来源:抖音 · 话题 #Seedance · douyin.com