钳沿AI实验室评蒸馏争议:Anthropic 指责中国模型蒸馏是双标
蒸馏算不算偷? A畜双标🐶 #科普实验 #大模型 #人工智能 #claude #deepseek
钳沿AI实验室就 Anthropic 点名 7 家中国大模型非法蒸馏一事发表观点,认为蒸馏是行业通用训练方法,Anthropic 自己的报告也承认其正当性。视频梳理了预训练与后训练流程,并对比 Anthropic 购买并拆扫数百万本纸质书、从盗版网站下载 700 多万本书后以 15 亿美元和解等事实,指出美国公司蒸馏被称行业惯例、中国公司蒸馏被称安全威胁属双重标准。
从蒸馏的技术原理讲起,对比 Anthropic 自身训练数据争议与点名中国模型的双重标准,适合做一期观点评论。
- 点赞
- 485
- 评论
- 44
- 分享
- 76
- 收藏
- 105
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
蒸馏 cloud 算不算偷?9月 anthropic 一份报告点名了7家中国大模型,阿里、deepseek、智谱、小米全在名单上。最多的一家,3个月问了 cloud 1亿5千万次,专抄它的解题过程,拿回去训练自己的模型。anthropic 管这叫非法蒸馏。
要判他算不算偷,得先搞懂大模型是怎么练出来的。第一步,把全网的文章、几百万本书,一股脑喂给他,只让他干一件事,猜下一个字。床前明月,下一个字是什么?光!几万亿个字猜下来,他就学会了说话,也记住了知识。这一步就叫预训练。可这时候,他只会接话,不会答题。
你问他:“北京有什么好玩的?”你猜他会怎么接呢?他可能接着写:“上海有什么好玩的?”“广州呢?”所以还得教第二步:照着示范答案学,一问一答,答案怎么写,步骤怎么走,照着练。再让他自己做题,答对加分,答错扣分。这一步叫后训练。deepseek 的技术报告里写得清清楚楚,先预训练,再照答案学,再做题打分。
预训练让他读万卷书,后训练让他会答题。而 claude 读过的书里,有一大批来路不正,这个后面细说。后训练最要命的是示范答案,这些答案从哪来呢?一种,请专家一道道写,又贵又慢。另一种,找个学霸来抄。瓶里放老师,一个更强的模型。漏斗里倒进题库,成千上万道题。
底下这把火,是一次次调用它的接口。它把题一道道做出来,连解题过程一起往上冒。冷凝管把这些收集起来,再筛掉做错的。滴进瓶里的,就是示范答案。最后拿去训练学生,一个小模型。这就叫蒸馏。DeepSeek自己就在论文里干过,拿R1当老师,教阿里开源的一个小模型。
同一个小模型,自己做题苦练1万多步,数学竞赛47分。照着R1的作业学一遍,72.6分。抄,比自己练,高了25分。所以连 anthropic 自己的报告都写着,蒸馏本身是正当的训练方法。那凭什么抄它就成了偷呢?先看看 claude 自己是怎么练出来的。
法院文件写着,anthropic 花了几千万美元,买了几百万本纸质书,拆掉书脊,扫进电脑,原书就这么毁了。内部文件写着,要把全世界的书都拆了扫一遍。还写着,别让人知道我们在干这个。这还算是买来的,更早之前,他还从盗版网站下了700多万本书,最后掏了15亿美元和解。
你猜法官怎么说呢?买来的书拿去训练,合理使用。就在上个月,美国司法部也站出来说,拿别人的文章训练AI属于合理使用。一周后,美国国安局FBI联合发公告,中国公司蒸馏美国模型是安全威胁。拿别人的书练自己,叫合理使用。别人学你的回答就叫偷吗?何况 cld 的回答本来就是从别人的书里学来的。
更绝的是,今年5月,opas 4.8刚上线,网友用中文问他,你是谁?他答,我是通义千问。到底是谁在蒸馏谁呢?再看美国公司自己,马斯克在法庭上被问,xai 有没有蒸馏过 OpenAI?他先说,行业里都这么干。再追问,他答,部分是。美国公司蒸馏叫行业惯例,中国公司蒸馏就成了安全威胁。
难怪商务部说这是典型的双重标准。现在 anthropic 防的越来越狠,claude 的思考过程只给你看摘要,原文一个字都不给,前兆全价收。中国控股的公司去年9月起就不卖了。可这招美国早就用过,最好的显卡不卖给中国。结果 deepseek 拿着阉割版的 h800,练出了 v3和 r1,英伟达一天蒸发了5890亿美元。
今年4月的V4,官方直接写“等华为升腾950量产,价格还要大降”。防蒸馏也一样,9月Anthropic刚点名7家,10月DeepSeek照样发了新模型,自家成绩单上写代码超过了Claude Opus 5,价钱只要它的1/60。卡得越狠,逼出来的本事越硬。
我的判断:防得越狠,越是逼着国产模型、国产显卡自己站起来。这一招,短视。所以回到开头,蒸馏 cloud 算不算偷?我的答案不算。蒸馏是人人都在用的方法,anthropic 自己都承认。拿别人几百万本书练出来的 cloud,转头喊别人偷,这叫双标。
防来防去,只会把国产逼得更强,这叫短视。你觉得蒸馏算不算偷呢?评论区见。
来源:抖音 · 搜「DeepSeek」 · douyin.com