Anthropic 弃用 Git,推出自研版本管理工具 Scion
Anthropic弃用Git,推出Scion版本管理工具 #Anthropic #代码管理 #云端管理 #Git #Scion
Anthropic 内部推出自研版本控制系统 Scion 替代 Git,所有代码操作在云端完成,智能体无需拉取整个代码库。
Anthropic 内部用 Scion 替代 Git 的案例,可围绕每天合并次数暴涨 12 倍、算力降 200 倍这些数字讲 AI 开发为何卡在 Git 上。
粉丝 5万
Agnes 创始人|全球 Autonomous Intelligence 倡导者 毕业于 Berkeley(数学 × CS,最高荣誉),HEC Paris 创新创业硕士,NUS Computing 博士研究者。 曾打造千万级全球产品,现带领 Agnes 构建世界领先的 Agent-native Foundation Models 与 Harness 系统,重新定义 AI 如何理解世界、调用工具、执
- 点赞
- 10
- 评论
- 1
- 分享
- 4
- 收藏
- 4
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
最近,anthropic 推动了自己的内部的一个新的项目,叫做 science,用来替代的是 git。git 就是过去20多年工程师来管理开发流程、协同开发的很重要的一个工具,是在2005年由 linux 的创始人 linux torvalds 发明的。
这个工具呢可以简单介绍一下,基本上现在所有工程师都在用,就是每一个工程师有一个本地的版本,在开发过程中呢,需要去管理的是协同工作中的增删改查,因为代码之间呢,常常在开发过程中互相会有冲突,所以需要一个版本管理,需要发 pull request,就是请求合并。
最终呢,合并过程呢,传统工作也是有人来做的。虽然现在这个 git 的很多操作已经由 ai 来做了,包括呢关于代码的合并的工作,依然是限制了 anthropic 公司的开发效率。为什么呢?因为 anthropic 公司内部大规模的 model calling,就是 ai 来开发,带来了前所未有的并发量。
举个例子来说,今年5月份,anthropic 整个公司的平均每天合并,就 merge 的代码的次数呢,是2500次。这已经是一家大型科技公司的活跃的水平。但是四个月之后呢,今年9月份,这个数字暴涨了12倍,达到了每天3Once,也就是在24小时不间断的情况下,每2.8秒就有一次经过测试跟审核的新代码合并到 anthropic 的核心代码库里。
对此呢,anthropic 针对 git 做大规模的优化,依然发现 git 这工具变成了 anthropic 进一步提升效率的瓶颈。为什么有这种情况呢?因为其实按照 anthropic 的说法,他们是在用一套传统的断网人类的设计的系统,就所谓的 git,每个人在本地端开发并合并了一个传统的工人开发的系统,但是却是在服务一个永远在线的 ai 智能体。
ai 的开发合并协同几乎是实时在线,而且信息呢是实时沟通的。想通这点之后呢,anthropic 决定不再给 git 打补丁,直接重新造轮子,推出了自研的版本控制系统,就是我们现在说的 sany。sany 的大的逻辑也是在做版本管理,但是里面解决了一个很重要的问题呢,就是它是一个实时在线的,所有的代码的调整,它不需要把整个库拉下来,完全在线上做开发以及线上做测试。
具体来说,一个 ai 智能体永远在线,没有必要在本地存一个100g 的历史记录,包括谁最后改了这一行,两版本差在哪里,agent 直接发一个 api 请求问服务器就行。甚至连代码文件都不用下载到本地。sign 呢支持呢虚拟化的 checkout,就是拉下代码库,由 ai 来修改,改哪文件只需要拉对应的文件,甚至只有当程序真正去读取某一行文件时,数据才会从缓存里流逝的传过来。
所以呢这版本管理不存在本地端这个概念,所有的任何操作都是在云端管理,云端呢会记录每一个贡献者实时的多版本的修改内容。这样呢 sign 呢就砍掉了繁琐的本地打包和全局锁,ai 提交一次代码的耗时只跟它改了多少代码相关,跟整个代码库有几百 g 毫无关系。
就是原来呢上传下载大部分的代码库的工作跟它修改内容是无关的,需要给人类提供上下文,现在呢这上下文在云端管理就可以,每个 agent 只需要关心自己的模块。这个主要呢受益于 ai agent 对于整个复杂代码库的快速的上下文的解读能力。相比之前几百台支持 git 的镜像的集群,sign 消耗的 cpu 的内存规模降低了200倍,各级的缓存的命中率超过了99%,原因是大部分的代码都没有调整,所以呢缓存的命中率大幅提升。
ai 和测试任务拉取代码要从几分钟缩短到几秒钟,单单。这一项提速就帮助整个公司持续性集成,就是 continuous integration 系统节省了25%的算力。那这个系统是怎么做成的呢?据说呢,整个的项目团队也非常的精简,只有7个工程师,5个月时间,大部分代码是由 cloud 深度参与开发的。
他们内部早期模型把工人手写的一个数据迁移管道重写了一遍,最终做到内存占用降到原来的1/20,速度提升了4倍。可见 ai 在构建这个系统的过程中大幅的提升了开发效率。而工程师在开发中呢,做的最主要的工作就是审核。他们发现对于 cloud 说的最多的一个字居然是 no。
让 cloud 互相进行对抗式的代码审核时,ai 往往呢是过于偏执,为了防范一些极小概率的假设性的风险,写出过于复杂、过度工程化的代码。这时候必须由人类教师出手叫停,帮 ai 做减法。就是有些时候 ai 谨小慎微嘛,不敢犯错。反而呢,人类作为领导是可以大胆的冒一些风险,take some risk。
那这个案例可以给大家的一个心得就是,现在 ai 在真的是所有的范式在调整,在 vibe 问题下呢,所有工具也得重新的升级。git 这个统治了软件界版本管理20多年的一个工具呢,在 ai 的时代已经不适用了,因为 ai 的写代码的速度、提交审核的速度、线上管理的速度、merge 速度都是大幅提升的,伴随新的速度也需要新的工具,否则呢,工具就变成了未来 ai 开发的一个瓶颈。
来源:抖音 · 杨博士说AI · douyin.com