跳到正文
抖音 · 杨博士说AI· 杨博士说AI·· 21 天前精选AI 评分60

网友用Claude Opus5.5写代码做视频,一分钟成本约2美元

Opus5.5能做视频了? #Claude #Opus5 #Anthropic #大模型 #AI视频

AI 导读

Claude Opus5.5被网友用来做宣传片和讲解视频,有推理初创公司用它做发布视频,用时约一分钟、成本约2美元,获得32万播放。做法是让模型先写分镜和风格手册,再开多个Agent分工在网页里逐帧画图,最后用ffmpeg把图片和音乐拼成视频。作者指出它本质仍是文本模型,产出集中在动画短片和demo宣传片,无法像可灵那样生成真人视频。

打开原文douyin.com
选题角度

用一分钟、约2美元成本复现Opus5.5写代码逐帧拼视频的流程,对比它和可灵这类真人视频模型的边界。

博主
杨博士说AI@43806858570

Agnes 创始人|全球 Autonomous Intelligence 倡导者 毕业于 Berkeley(数学 × CS,最高荣誉),HEC Paris 创新创业硕士,NUS Computing 博士研究者。 曾打造千万级全球产品,现带领 Agnes 构建世界领先的 Agent-native Foundation Models 与 Harness 系统,重新定义 AI 如何理解世界、调用工具、执

互动数据
点赞
563
评论
21
分享
78
收藏
315

约为这个来源平时的 3.6 倍

数字来自平台,为最近一次抓取时的数据。

正文

以下是视频口播的自动转写,可能有错字。

Cloud 5.5出来之后呢,很多人在网上研究出了一个新玩法,就是做视频。主要呢是宣传片和一些广告片。比如说,迪迪是一家推理初创公司,用 opus 5.5呢做了一支发布视频,用时约一分钟,成本呢约2美元,完成了32万的播放。pv 给产品 dictators 做了一支32.5秒的手绘风宣传片,只给了一句话,这是参考视频,分析它,然后给 dictators 做一支同样风格的。

不仅能拍视频,也可以做讲解。比如说,id as money 用 opus 5.5呢做了一个40秒的浏览器是怎么工作的过程呢,文字包括讲解都是声情并茂。查比让他做了一部3分钟的 ai 简史,从 attention is all you need 一路讲到 agi,还带配音带音乐。

很多类似的这种小短片呢,用 chat 5.5做完之后呢,播放量是很不错的。也看到在中文圈,有人用 three 点到 gs 做了一个桃花源记的3d的交互的动画,可以在线的走进桃花源。wy 做了一个2分38秒的中华上下五千年,有15万的播放。那这个是怎么实现呢?

大家都知道这 opus 5.5呢其实是一个文本模型,它连多模态的支持都是比较缺乏的。就是。说它能读懂图片跟视频,但是更多的多模态的内容理解的知识都不是最强的。那它实现视频的方式呢,其实也很简单粗暴,就写代码,通过代码来画图片,然后电脑再把每一帧存下来,最终拼成视频。

在过程中呢,oppo 呢其实做了几个很重要的工作。第一是先当导演,先给自己写一段分镜,比如说每个镜头必须有什么在动,什么不在动,哪些画面出文字,哪些不出。它对整个的导演的剧本的描述呢,是很精准。第二呢是当制片,相当于写一份风格手册,然后再开一群 agent,每个人认领一份,同步开工,基于同样的风格呢,生成多个段落的视频素材。

第三呢是当画师,每个文件负责在网页里一笔一笔的画出自己的那段,用的是导演和制片的需求。第四呢是剪辑,一个脚本打开浏览器,一帧一帧的截图,最后呢用 ffmpeg 把图片跟音乐拼在一起,最后出片。那可以看出啊,整个过程呢其实很丝滑。当然了,它也不是全能的。

总的来说呢,做的更多是动画短片,作为 demo 的宣传片,没法像 c-dance 可灵这样去生成真人的视频。当然对于很多。宣传片,对于一些动画片,包括一些3d的场景呢,其实已经很够用了。再加一些剪辑的工具,其实呢完全是可以模拟动画片和3d影片的一些制作的流程。

那我想说的是,这件事情呢其实跟前段时间我们看到通用模型在切入所有的垂类领域的逻辑是一样的。再有了工具,有了哈雷奇亚呢,其实文本模型替代的更多的不是一个新的工具,而是使用工具的背后的艺术家,或者是背后的人。那无论是3d建模,还是动画制片,还是比如说通过音乐的软件制作交响乐,还是数学的证明,物理世界的实验,类似 cloud 这样的文模型起的最核心的作用是做背后的一个大脑,去操控不同的工具,最终呢形成结果。

那这也是为什么我们看到绝大部分市场上最前沿的 ai 花的核心精力依然在文本模型上,因为智能的前沿依然是在使用工具的人,而不是把工具变得更加强大。相比来说呢,其实视频模型、3d模型,包括一些纯类模型,比如说类似 harvey 这样的法律的,类似生物医药的,这些模型呢,其实绝大部分能力都可以在通用模型。

加哈里斯工具的基础上达到一定程度的覆盖。就以这次的 oppo 出片来说,目前的动画片、参与短片、宣传片基本都已经可以覆盖了。如果再能把 cdown 作为它可用的工具之一的话,基本上全流程的短剧的制作,甚至长剧的制作,都可以由 oppo 这样的 ai 工具实现大规模的自动化。

来源:抖音 · 杨博士说AI · douyin.com