研究称GPT Astra的机器人能力并非涌现,而是专门训练过拟合Franka Panda
GPT Astra过拟合Franka Panda实现具身智能 #GPTAstra #具身智能 #物理AI #机械臂
有研究员测试50个开源与闭源模型后发现,GPT Astra、GPT-6.1 So 和 Gemini Argon 在正逆运动学任务中给出的预测与 Franka Panda 机械臂的运动学特征高度一致,换成其他机械臂参数后仍输出 Franka Panda 的结果,说明其机器人能力来自针对该机械臂数据的专门训练而非能力涌现。
研究员实测50个模型后发现GPT Astra的机器人能力来自对Franka Panda的专门训练,可围绕这个过拟合结论做热点评论。
粉丝 5.1万
Agnes 创始人|全球 Autonomous Intelligence 倡导者 毕业于 Berkeley(数学 × CS,最高荣誉),HEC Paris 创新创业硕士,NUS Computing 博士研究者。 曾打造千万级全球产品,现带领 Agnes 构建世界领先的 Agent-native Foundation Models 与 Harness 系统,重新定义 AI 如何理解世界、调用工具、执
- 点赞
- 89
- 评论
- 6
- 分享
- 8
- 收藏
- 20
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
2026年的9月3日呢,gpt6 astral 正式发布。除了大家耳熟能详的推理、编程、 agent 能力,这款模型呢在机器人的领域呢表现的潜力非常的令人关注。在很多人看来,一个通用动态大模型已经做到了能够理解机器人的所处环境,并根据任务做出相应的动作,这个呢是非常颠覆性的。
nvidia 呢将 gpt6 astral 呢引入了机器人的仿真及设计工作流,表现呢是非常的出众。而有研究员呢通过借助宇树的 unitree g1的原型机器人,让 astral 在未知的房间自动行动,记住不同的物体位置,跨越整个房间,完整执行任务。
即使人类只给比较模糊的自然语言指令,它也能根据此前建立的空间记忆,找到并取回指定物品。gpt6 astral 一出呢,机器人圈的解释是犹如丢下了一颗核弹,很多人呢直呼呢,vra 已死,包括 vision action model,基本上都被通用大模型接管了。
那 gpt6 astral 呢,表现出的机器人的能力呢,主要是三个方面。第一呢,是拆解问题的能力,就是它能把一些模糊的指令,有效的拆解成分阶段的具体的操作。这个呢,是得益于大语言模型的。能力,遵循能力。第二就是泛化能力,很多 vla 呢其实用了大规模的数据训练完之后,发现换了个颜色就不知道怎么去发挥能力了。
但是 llm 是有效的,可以把能力泛化到不同的场景,在不同的房间几乎是 zero shot 就可以快速的适应环境并理解意图。第三也是最奇妙的,就是 astral 对未知能力的理解。什么叫未知能力呢?就是在很多机器人身上,通过给出一组关节角度的数据,可以快速的知道最终的末端执行器的位置坐标以及角度。
那这个能力呢, astral 貌似是与生俱来的,超越了很多其他的模型,也包括了在编程能力上同样强大的 cloud 都没法达到 astral 的能力。所以呢现在基于这样的能力呢,整个行业呢也众说纷纭。有些人说呢是经过特定训练的,有些人呢是说大圆模型直接通过其他的能力,比如说3d的建模能力直接涌现出来的技能。
那最近有研究发现了 gp6的 astral 的机器人能力并非涌现,更多的是来自专门的训练。研究员 aden swan 在 x 上分享, gp6 astral 的机器人能力并非大家想要的,通过其他的能力涌现出来的,而在。在训练过程中使用了专门的机器人数据。
gpt6.1 so 和 gemini argon 也接受过类似的训练。那他们做法呢,是把50个开源跟闭源的模型进行了测试,比较他们在两类运动学任务中的表现。一类是使用 franka panda 机械臂的运动学参数,这是非常常用的一个机械臂。
另外一类呢,是使用合成生成的机器人的运动学的参数,就是并非常规的机械臂。研究人员呢,要求模型完成正运动学,包括 kinematics 和逆运动学, inverse kinematics 的计算。说明什么意思呢?正运动学指的是给予机器人各关节的角度,计算末端的执行器的位置和姿态,就它的位姿。
逆运动学呢,是反过来,给予目标的位姿,求出机器人的各关节应该采用的角度。逻辑什么?就机器人每个关节其实是有对应的参数,给予对应的参数呢,是可以通过三 d 的计算得出它的末端的位置。而这个计算呢,貌似对于 astral 这样的模型来说是不用计算的,可以直接拍脑袋就给出一个预估值。
也就是说这部分的计算能力呢,其实都已经训练到了模型的隐藏层的参数里。在测试的5个模型中呢,有3个模型的表现呢是明显异常,这就是 gpt6 astral gpt6.1 so 和他们的特点是给出的预测与 frankpanda 机械臂的运动学特征非常一致。
但是在调整了对应的机械臂的参数,也就说不是 frankpanda 的机械臂的时候,它依然给出 frankpanda 机械臂的运动学特征。换句话说呢,它其实没有基于更新的机械臂的数据重新做计算,而是针对 frankpanda 做了本体的固理核。
明显可以看出这几款模型应该是专门针对 frankpanda 这样的机械臂的数据做了大规模的训练。结论呢就是记住了 frankpanda 的结构和运动关系。研究者呢也公开了他们完整的实验结果代码以及模型的推理记录,社区呢复现与验证。那针对这个情况呢,我也分享一下我的几点认知。
首先是有关巨深的模型的训练。目前来看呢,大语言模型依然是可以大力出奇迹的。通过给出 frankpanda 的不同的关节的参数,模型是可以把计算终端的未知的能力直接 embed 到 hidden state 里面。换句话说呢,它里面的计算能力呢,都是通过经验实验来实现的,并没有做过严格的数学的精密计算。
这也是为什么他们没法。一直到其他的参数的这些B,但绝大部分的市场上的机器人呢,其实也就那么几款,所以 frank拍 、语数这几款理论上都是可以通过后续跟大量的数据来让模型快速的理解关节的角度和末端未知的关系的。这些实验呢,大概率呢是可以在仿真的环境中实现,所以并不依赖于 v 里面的异GO 的人为采业的数据。
第二个大逻辑就是大家最近讨论比较多的就是大元模型 llM 和 v 所谓的物理 AI 的模型之间的关系是什么。前几年聚生智能呢其实是一个很火的方向。大部分公司讲的故事是物理 AI 的想力是远大于数字实业的 llM 因为行业认知呢是大元模型,只能通过图KEN 的方式,并没法理解物理世界的因果。
但是通过ra 的最新的数据来看呢,绝大部分的机器人的操作的动作都是可以用大元模型来替代,只有非常精密的,比如说插把或者是扭旋钮、开门等动作呢,目前 llM 没法达到对应的精晰程度,需要大规模的 v 做最后一印度的革命。但是整个行业的认知产生巨大变化。
至少在美国的核心的 labs 的认知呢,就是真正实现 agi 的会是大语言模型。而在实现 agi 过程中,大语言模型会逐步的突破各个行业的智能的边界。从知识类,再到现在的 coding 就是编程,再到现在的3d数学, robotics 就是具身智能, ai for science 科学等各个领域。
那原先的 vla 包括机器人本体,慢慢的变成了大语言模型的一个需要引入的技能,或者是一个插件。那未来呢,整个的具身的市场规模是在大幅被压缩的,行业的认知,市场的估值也在大规模缩水,而最终的价值呢,又回归到了通用大语言模型中。所以未来的世界又回到了一个模型吃掉一切,而通用模型又会吃掉所有的 pre 模型的趋势逻辑里。
来源:抖音 · 杨博士说AI · douyin.com