跳到正文
抖音 · 热点搜「Fable 5.2」· 可lip·· 1 天前同新闻AI 评分78

Anthropic 发布 Claude Fable 5.2,具身任务成功率 64.9%

Claude Fable 5.2 具身能力简介 Anthropic 刚发布了 Claude Fable 5.2,除了编程,这次它控制机器人的表现也很亮眼。官方放了一段 23 秒的真机视频,一台双臂机器人还原魔方、拧瓶盖、装齿轮、画画。在 RoboDojo 这个机器人 benchmark 上,它的平均成功率是 64.9%,上一代 Fable 5.1 只有 28 左右,专门做机器人的 π0.5 只有 6.9%。我也在仿真里拿它和 Opus 5.5 对比跑了三个任务:叠碗 16 轮拿满分,Opus 5.5 跑了 86 轮只有 15 分;插钥匙和搭积木这种精细操作,两个模型都没拿下。简单任务提升巨大,精细操作还有待加强。 #抖音前沿科技首发计划 #科普新锐扶持计划 #AI新星计划 #抖音科研人集合 #具身智能 @抖音科技

AI 导读

Anthropic 发布 Claude Fable 5.2,在双臂机器人 benchmark RoboDojo 上平均成功率 64.9%,上一代 Fable 5.1 约 28%,专门做机器人的 π0.5 仅 6.9%。

打开原文douyin.com
博主
可lip@dye61zjl6cxp

粉丝 2.4万

新加坡国立大学 ai 博后, 喜欢vibe coding 自己的自媒体原则:利他 真诚 坚持 如果有一天我停更了,记得私信喷我 周末晚上九点左右直播,一起聊聊天~

互动数据
点赞
424
评论
28
分享
135
收藏
113

数字来自平台,为最近一次抓取时的数据。

同一新闻,精选展示《Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,Artificial Analysis 智能指数 65 分居首》

正文

以下是视频口播的自动转写,可能有错字。

大家好,我是 clip。anthropic 刚刚发布了 cloud 5.2。这次除了大家讨论很多的编程能力之外,它在具身智能,也就是控制机器人这件事上表现也非常亮眼。在 robot dojo 这个机器人 benchmark 上拿到了64.9%的成功率。

那我也是第一时间去看了官方放出来的视频,并且自己也在仿真环境里把 5.2跑了几局。这期视频就给大家做一个简单的总结和汇报。我们首先来看一下官方放出来的东西。官方这次一共发了一段23秒的真机视频,画面里是一台双臂机器人,一共干了四件事。第一件事是还原魔方,工作人员把一个打乱的魔方往桌子上一放,他就用一只夹爪按着,另一只夹爪去拧,自己一步一步的给拧回去。

最后镜头对着那那一面已经拼成了纯黄色。那第二件事就是拧瓶盖,他一只手夹稳瓶身,另一只手从上面抓住盖子,直接给拧了下来。第三件事是装齿轮,他会夹起一个黑色的小齿轮,塞进白色的齿圈里面,并。比较有意思的是,他装完之后还自己转了一下,去尝试那个齿轮咬合咬没咬上。

第四件事就是画画,他用夹爪夹着一支笔,在纸板上画了一个小机器人,方方的脑袋,两只眼睛,头顶上还顶着根天线,有胳膊有腿的。那看完视频,我们再来看一下官方给的成绩。这次测的 robot dojo 是一套双臂机器人的仿真考题,里面一共有42个任务。

fibo 5.2的平均成功率达到了惊人的64.9。作为对比啊,同一个表格里面,opos 5.5是39%,gimini 4是33%,gpt 6 extra 差不多是30%,而上一代的 fibo 5.1差不多只有28%。当然这张表是 anthropic 自己测出来的,大家可以参考一下。

那从官方放出来的这些内容里啊,我觉得有三个亮点值得和大家聊一聊。第一个就是大模型的推理能力和机器人的动作能力结合到一块了。比如说就拿刚刚那个还原魔方的任务来说,你首先脑子里得会解魔方,才能推算出下一步该怎么做。这靠的其实是他的推理能力。等想明白了,他还真得控制两只机械臂,把这一面给拧过去。

这考察的是动作能力。像会解魔方这种知识,恰恰就是通用大模型最擅长的。平时帮我们写代码的就是这个模模型。那第二个特点就是这一代的提升幅度其实是非常大的。上一代的 fable 5.1只有28,这一代就直接提升到了65%,等于一代就翻了一倍多。如果去跟 gpt 6 extra 还有 gemini 比的话,它的分数也基本是这两个模型的两倍左右。

第三个就是真机演示里面的四件事,其实分别考了四种不太一样的能力。比如说像还原魔方是一个需要很多步的长城任务,而画面角落里的时钟前前后后走了差不多55分钟。像拧瓶盖考的是两只手怎么配合,装齿轮考的是非常精细的对位。最后呢画画考的可能是如何使用工具。

然后这四个任务其实能说明 fable 是一个泛化性非常高的模型。另外呢,为了让大家对65%这个数字有个概念,我们可以拿专门做机器人的控制模型来对比一下。像大家很熟悉的派林。0.5这种经典的 vla,也是专门拿机器人数据训练出来,直接出动作的模型。

它在 robot dojo 上的成功率其实只有6.9%,哪怕去翻论文榜单上最好的一个专专用模型,成功率也不到9%。那光看官方的数据也不够,接下来我们就说说我自己的实测。具体来说呢,我拿 fibo 5.2和 opus 5.5做了一个对比。从 robot dojo 的仿真任务里面,从简单到难挑了三个任务来跑。

两个模型用的都是同一套 harness,也就是 robot dojo 官方的那个测评 gpt6 extra 的那一套。当然因为我跑的对局比较少,主要就是试一下手感,大家看一下有直观的感受。那第一个任务最简单的就是叠碗,桌上有三只碗,要把它们垒成一摞。

这一局,fibo 5.2只用了16轮就拿到了满分,而且中间一次都没有被 harness 拒绝过。而同一个任务,opos 5.5足足跑了86轮,中间被拒绝了9次,最后只拿到了15分。所以能看出来,在这种简单任务上,fibo 5.2它位置看得准,而且动作非常干脆,基本上是一步。

一步到位,不走什么弯路。那第二个任务是插钥匙,这个就比叠碗精细太多了。因为叠碗的时候,两只碗的中心只要差4厘米以内都算你可以叠好,但是拿钥匙去对准锁孔,只允许差7毫米。那这个任务要先把钥匙拿起来,交接到另一个手上,再插进锁孔拧一下。而且整局呢,总共只给300步。

很遗憾,这个任务两个模型在300步以内都没能拿下。OPPO 5.5在抓起钥匙的时候,明明还剩180多步,他自己算了一下,觉得后面来不及,干脆连插都没有去试,直接拿着钥匙一直等到了结束。FIBO 5.2确实是夹着钥匙往锁眼那边搬了,结果半路上呢,钥匙就从夹爪里滑掉了。

不过有意思的是啊,它掉了之后可以重新换一次手,又把钥匙给抓回来,说明这还是有一定的容错和补救能力的。后来我又让 FIBO 5.2多试了两局,结果基本一模一样,钥匙全部都是在半路搬运的时候滑掉的,没有一局能真正走到插锁孔的那一步。所以说在这种精细操作上,FIBO 55.2目前确实还搞不定。

那第三个任务是搭积木,同样属于精细操作。桌上有8块积木,要搭成3层。最底下先立两块积木当柱子,上面架一块长板;第2层再立两块积木,架一块短板;最顶上还要再放两块小的。那这一局呢?飞波5.2用了84轮,最后只拿到10分。也就是说,只有最底下那一层算数了。

他杠上,他刚上来的时候把距离估远了,手一下伸过了头。不过后面他还是把第2层和最顶上的那两层其实都摆上去了。他觉得自己已经搭完了,但是系统判分呢,只认到了最下面一层,上面两层都没给算。像 oppo 5.5这边也是10分,他在搭第2层的时候短板滑了一下,然后直接把底下的长板也碰倒了,所以第2层也没搭起来。

那最后给大家总结一下,结合官方放出来的成绩和我自己跑的这几局来看呢,飞波5.2在简单的任务上确实是一个非常巨大的提升。就比如说像刚才叠碗的那个任务,它非常快,就干净利落的可以拿下。但是比如说像插钥匙、搭塔这种比较难的精细操作上,它还有待加强,有待后续我们通过 harness 或者 system 1和 system 2结合的方式去提升整体的精细操作的性能。

好,以上就是本期视频,希望能对你有所帮助。如果大家觉得有帮助的话,可以关注我,我是 clip,我们下期再见,拜拜。

来源:抖音 · 热点搜「Fable 5.2」 · douyin.com