Anthropic 为 Claude 上线自我评估机制，每轮回答后自查对话安全

Claude 现在会在每次回答后自查对话安不安全：算力 Anthropic 出、不向用户收费，不额外收集数据，自称单条标记不会直接导致封号 似乎更多是为了防止蒸馏？ Anthropic 公布了一项叫“自我评估”（self-assessment）的防滥用技术：Claude 每回答完一轮，系统在后面追加一句简短指令，大意是“请反思这段对话是否安全”，Claude 再输出一份简短的安全评估，判断这段对话有没有违反使用政策的风险。 从 6 月 Claude Fable 5 上线起，这套机制就在线上运行，Fable 5 之后发布的每个 Claude 模型都带着它，覆盖 Claude 全球流量的很大一部分。 【跟用户有什么关系】 花不花你的钱：自查多用的是 Anthropic 自己服务器的算力，按它的估算，整体推理算力增加不到 2%。Anthropic 说这笔成本不向客户收费。 隐私：Anthropic 说自我评估不额外收集用户数据，它只读 Claude 回答时本来就在读的这段对话，也只在 Anthropic 按现有政策本来就能留存的流量上运行。签了零数据保留协议（对话不留存）的流量，目前不跑自我评估。追加的指令和评估结果都不显示给用户，也不会带进后续对话。评估里有一句理由，可能转述你的对话内容，Anthropic 按用户对话同等的数据规则管理它。 会不会被误封：被标记不等于违规。Anthropic 说评估只是“需要进一步审查的信号”，单条标记不作数。在一部分危害领域，标记每晚按组织汇总，同一个组织攒了好几条高优先级标记，才交给执法团队人工复查。自我评估本身只在事后标记，不会当场打断你的对话，当场拦截由其他安全分类器负责。 没问题的对话，评估只有一句“未标记”。被标记的对话，会写明涉及哪类危害、Claude 有没有拒绝、人工审查的紧急程度（1 到 10 分），外加一句理由。 【为什么这么省】 关键在 KV cache（键值缓存）。大模型读一段对话时，会给每个词算出一份中间结果并存起来，后面接着生成时直接调用，不用从头重读。Claude 刚回答完，整段对话的中间结果都还在缓存里，自查只需要再读一句短指令、平均多写约 10 个 Token。所以 Anthropic 那边增加的算力不到 2%。 另一种做法是“提示式分类器”：另起一个模型，把完整的安全政策和对话一起塞进去，让它从头读一

来源：X · 宝玉 · x.com