晓辉博士分享用 Verification Skill 让 AI Agent 可验证地自我迭代

以下是视频口播的自动转写，可能有错字。

哈喽，相信很多朋友最近都在听这个AI AGENT自进化这件事情哈，包括自己迭代、自己进化，然后能够持续迭代自己。那这个信息可能是前一段时间在anthropic他们自己内部说，26%的工作已经可以交给AI来去自动化的开始进行研发了，当然不是L5哈，是L4级别的。

然后最近我们也看到很多博主在分享。自己的这些自自净化的体系哈，然后我也非常好奇到底这些 agent 是怎么迭代起来的。比如说像 loop 呀，然后像这个 recursive 啊等等，到到底是怎么能够循环起来，迭代起来。我非常想让我的这个 agent 也能够实现哈。

但是我们研究了几天哈，发现其实你让 agent 自己迭代起来有一个前提，就是一定要可验证。因为如果你的这些 skill 不能够100%达到你的。交付的要求和标准，你没有充分的信任你的 agent 能够实现你的目标的话，你让它迭代起来，它只会产生更多的垃圾，更多的 ai slop。

你也就是会花更多的时间去验证它的成果，验证它的产出，没有解放任何的自己的注意力哈。这里面有个词哈，叫 verification tax，就是说验证税，就是我们现在发现很多的时候，我们确实很多工作可以交给 ai agent 来做了，但是我们的。

验收要花额外的时间，就甚至是30%~40%的时间都是花在验收上。所以你怎么能够把这个验证体系写清楚，把它写好，那其实是让接下来 ai agent 能够自己循环、自己迭代的一个关键哈。然后这两天呢，我就非常认真的去看了一下，包括 grokbot 团队，potato，然后包括 anthropic 他们内部的工程团队的一些经验，还有就是独立开发者。

Macpad 的这个开发者哈，叫 yet one。然后他的一些这个让 agent 自己循环自己迭代的经验，我去总结了一下，到底该怎么让你的这个 agent。用的这个 skill 能够自己进化自己迭代。然后今天我在视频的末尾哈，也会去把我这个这个能力提升哈，就我的这个 skill 改进的方案贴给大家，然后也分享在我的评论区哈，大家可以用这套提示词给你的自己的 agent，让他去帮你去做一下 skill 的改进。

那我首先说一下整个我的这个过程是怎样的哈，我跟大家分享一下。那首先我看的是 potato，他讲的他们在 grokbot 这个团队，他自己做的一个叫 verification skill 这么一个验证的。技能啊，那么怎么，什么意思呢？就是他们现在是做软件工程嘛，软件开发。

所以他希望让这些 agent 能够自己去做验收，或者说自己能够识别到底现有哪些问题。比如说这个用户有反馈之后，那我改进了之后，那这个软件本身是不是能够真的跑通？啊，就是不用再我去再重复验证了。所以它的这个 verification skill 它进行了详细的介绍。

它分，说分为两个部分哈，一部分是叫 feature map，就是我这个 agent 来了之后，我知道这个软件它是干嘛的？它的上下文到底是啥样的？就是我，这软件，我应该从哪去找任何样的，任何功能，我都去哪里去看？啊，这是一个地图吧，你就可以理解为一个 agent 它去了解这个软件的地图。

是一个它的入口，因为很多时候软件开发很多经验是留在软件工程师的脑海中。但是你怎么告诉 agent 让它的同步，对吧？你可以把这个上下文都告诉他，这样你就不用一遍一遍的教他了。所以这个是 feature map 的功能。然后 cli 是什么意思呢？

cli 就是 command line interface，就是它其实是一个命令行交互的一个界面嘛，就相当于我把很多的能力封装起来。比如说这个 agent 它是不是能够操作电脑，对吧？那操纵电脑要用到哪些工具？有哪些常用的脚本是它可以直接去调用的？

那这个时候我就全把这些可复用的能力模块全都封装起来，告诉 agent。比如说它可以去调用一些这个日志啊，然后回滚呐、审查呀、交付呀等等吧，就是它的这个可用的工具的集合啊，你可以理解为 cli。当然我理解也是仅限于我这个外行哈，就是这点理解。

那我借鉴这个方式呢，其实也对我的自己的录音转写工作流进行了一个改造。那包括我我看到我之前可能自己的这个录音转写工作流哈，其实本质上它的 skill 就是一个一个原则，或者说你就是告诉了 agent，他要做哪些事，全是，大部分都是以文字的形式存储的。

所以这个就问，导致一个问题，就是你的 agent 在做交付的时候，他的验证全都是不可控的一个情况，就是他没办法去根据一个什么强规则的校验，去看他到底有没有完成你的这个要求和执行。所以相对来说是一个非常不成熟的一个 skill。然后经过了这个改造之后呢，它能够实现什么样效果呢？

就是说把一些确定性的，要验证的环节，我交给脚本去验证。把一些确定性的 ai agent 可以重复去用的一些工具模块，我全给它封装成 cli。那这个时候他就不需要再去每一次都重重新写代码，其实也是非常费 token 的一件事嘛。所以这个让我也是就是这个 skill 哈，就是让我这个改进非常的大。

然后呢，其实 potato 他在分享的时候，他也分享了，就是你要做验证的五个层次哈。首先就是 code base，就是这个代码仓库其实是非常重要的一个环节。或者说我们对应这个录音转写工作流哈，就是一个好的样例是非常重要的。就是如果 ai agent 它能够参考到一些非常好的这个样例的话，它也就不会出那么多错。

就是我其实照葫芦画瓢，就是你放心把哪些东西交给 ai agent 去抄。他当当时提了这么一个想法哈。就是说如果你的这个代码本身就是一团乱，那么 ai agent 只会写得更乱。啊，我觉得这是一个，也是一个删减的过程哈，就是你不能非常乱的东西交给交给 agent。

然后那，当然，在我们日常的知识工作者这个范畴内哈，可能就是那些好的样例，你觉得哪些东西是你放心让 agent 去参考的？就像你交给一个实习生一样。好的，这个东西你参考这个标准去做吧，你的标准，这个 golden，这个。标准应该去金金色标准哈，就应该去让给他参考。

所以这是第一步，然后第二步呢，就是一些形式化的检查，一些非常重要的我必须要你跑一遍这个脚本，你才能够验收的一些形式化的这个审查。那对应知识工作哈，可能就是一些也是一些这个脚本对吧？你就是比如说你这个完整性，你这个字数到底有多少，或者是你是不是把所有的上下文都已经核对清楚了。

那这个就是可以用写脚本的方式来验证的。那这两点哈，其实往往是我们可以强验证的方式去让 agent 来执行的，所以是非常重要的。当然还有三个没有那么强验证的，比如说一些规则，比如说一些 skill，或者是一些这个偏好，就是你的格式化的偏好。那这个只能说我给到 agent，让他提供参考，但他是不是执行，我没有办法去验证。

所以尽可能的让你的前两项变得更强，这个是验证的一个。最必要的一个基础哈。然后呃，所以在这个背景下哈，就是你的 skill 改造应该做什么呢？应该就是把那些确定的环节啊，首先就是你的标准到底是什么？比如说你这个录音转写也好，或者是视频剪辑也好。

那你的什么样你就算满意了？啊，你什么东西是你不能忍的？什么东西是你啊，就是一定要让 agent 的去审查做到的？那以及格式的标准大概是什么样？比如说你的字幕多大？或者你的录音转写大大概是一个什么样的节奏、口吻？然后不同的人是第一人称呢，还是第三人称呢？

就是一些这个你能想到的一些标准，一定要尽可能的去告诉你的 agent。然后，那这样的一些信息哈，就是你你其实就是重复一次，然后能够把它沉淀下来，就能够持续的去复用。当然还有一点，就是你这个 skill 一旦做成了之后，它能不能自己进化？就比如说下次我再去用录音转写的时候，我又发现了一些问题，然后我能不能让这个。

Agent，它可以，这个 skill 它能够迭代，所以它还是需要有一个地方能够记录这每一次的这些变化。所以呢，就以上，综合以上哈，所有的信息，我们其实都是希望用一套非常严格的标准，能够让 ai agent 放心的把我们的手中的事交给他，就是本质上就是信任。

你就是什么情况下你会相信他能够帮你完成你的工作？你在什么样的标准，什么样严格要求之下？就是跟你，跟一个同事合作一样，或者一个带一个实习生一样。那什么样的情况下，你就可以真的，哎，我100%放心交给他了？那这个前期你肯定是要付出大量的这个心血和时时间去跟他打磨的，对吧？

这个这个我觉得也是一个非常必要的尝试哈。所以我的这个分享哈，就是说你在 agent 的 loop 起来之前，一定要去尝试让他去把验证写出来，把这个标准写出来。然后程序员已经非常了解，要写测试。那我们这个知识工作者，我觉得这一步也是非常必要的，就是你到底怎么算通过了你的验收？

那这个如果没有的话，那么你将来自迭代全都是白搭，就是你没办法去保证你这个交付的质量的。所以我我今天的这些分享哈，就是我把把这个这个提升 skill 的这个工作流的要求也写在评论区，然后大家如果有需要的话，可以拿过去跟你的 agent 说，你可以尝试用这个这个方式去改造一下现有的这个 skill。

来去试一下到底怎么样哈，当然我也是小白哈，我也是刚刚开始学。然后我也在持续的去改变我的这个录音转写的工作流和视频剪辑的工作流，然后希望对大家有一些帮助吧。然后也欢迎大家在评论区提出一些你的见解，就是你们平常是做，怎么做验证的？因为我觉得这个验证哈。

是摆在全世界使用 ai 的人面前的一个难题。也没有人现在彻底解决了，然后我觉得大家都是探索阶段哈。拜拜。