公众号 · 新智元·· 6 小时前精选AI 评分71
Anthropic公开Claude自我评估机制:前台照写代码,后台静默上报风险
难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报
AI 导读
Anthropic在X上公开Claude的「自我评估」隐藏机制,模型在回答结束后于后台追加约10个Token生成JSON风险报告,推理开销增加不到2%。该机制自今年6月Claude Fable 5起默认开启,已静默运行4个月,前台不拦截违规请求,后台按机构汇总高危记录交由人工安全团队处理。官方称在1%误报率下可抓出78%的潜在违规,7分以上严重违规抓获率达94%。
选题角度
Anthropic公开的自我评估机制让Claude前台照写代码、后台用约10个Token打风险分,适合结合官方截图讲清这套静默审查怎么运作。
来源:公众号 · 新智元 · mp.weixin.qq.com