跳到正文
抖音 · 搜「DeepSeek」· 钳沿AI实验室·· 1 天前精选AI 评分72

钳沿AI实验室评蒸馏争议:Anthropic 指责中国模型蒸馏是双标

蒸馏算不算偷? A畜双标🐶 #科普实验 #大模型 #人工智能 #claude #deepseek

AI 导读

钳沿AI实验室就 Anthropic 点名 7 家中国大模型非法蒸馏一事发表观点,认为蒸馏是行业通用训练方法,Anthropic 自己的报告也承认其正当性。视频梳理了预训练与后训练流程,并对比 Anthropic 购买并拆扫数百万本纸质书、从盗版网站下载 700 多万本书后以 15 亿美元和解等事实,指出美国公司蒸馏被称行业惯例、中国公司蒸馏被称安全威胁属双重标准。

打开原文douyin.com
选题角度

从蒸馏的技术原理讲起,对比 Anthropic 自身训练数据争议与点名中国模型的双重标准,适合做一期观点评论。

博主

粉丝 1942

准备好迎接AI时代了吗?

互动数据
点赞
485
评论
44
分享
76
收藏
105

数字来自平台,为最近一次抓取时的数据。

正文

以下是视频口播的自动转写,可能有错字。

蒸馏 cloud 算不算偷?9月 anthropic 一份报告点名了7家中国大模型,阿里、deepseek、智谱、小米全在名单上。最多的一家,3个月问了 cloud 1亿5千万次,专抄它的解题过程,拿回去训练自己的模型。anthropic 管这叫非法蒸馏。

要判他算不算偷,得先搞懂大模型是怎么练出来的。第一步,把全网的文章、几百万本书,一股脑喂给他,只让他干一件事,猜下一个字。床前明月,下一个字是什么?光!几万亿个字猜下来,他就学会了说话,也记住了知识。这一步就叫预训练。可这时候,他只会接话,不会答题。

你问他:“北京有什么好玩的?”你猜他会怎么接呢?他可能接着写:“上海有什么好玩的?”“广州呢?”所以还得教第二步:照着示范答案学,一问一答,答案怎么写,步骤怎么走,照着练。再让他自己做题,答对加分,答错扣分。这一步叫后训练。deepseek 的技术报告里写得清清楚楚,先预训练,再照答案学,再做题打分。

预训练让他读万卷书,后训练让他会答题。而 claude 读过的书里,有一大批来路不正,这个后面细说。后训练最要命的是示范答案,这些答案从哪来呢?一种,请专家一道道写,又贵又慢。另一种,找个学霸来抄。瓶里放老师,一个更强的模型。漏斗里倒进题库,成千上万道题。

底下这把火,是一次次调用它的接口。它把题一道道做出来,连解题过程一起往上冒。冷凝管把这些收集起来,再筛掉做错的。滴进瓶里的,就是示范答案。最后拿去训练学生,一个小模型。这就叫蒸馏。DeepSeek自己就在论文里干过,拿R1当老师,教阿里开源的一个小模型。

同一个小模型,自己做题苦练1万多步,数学竞赛47分。照着R1的作业学一遍,72.6分。抄,比自己练,高了25分。所以连 anthropic 自己的报告都写着,蒸馏本身是正当的训练方法。那凭什么抄它就成了偷呢?先看看 claude 自己是怎么练出来的。

法院文件写着,anthropic 花了几千万美元,买了几百万本纸质书,拆掉书脊,扫进电脑,原书就这么毁了。内部文件写着,要把全世界的书都拆了扫一遍。还写着,别让人知道我们在干这个。这还算是买来的,更早之前,他还从盗版网站下了700多万本书,最后掏了15亿美元和解。

你猜法官怎么说呢?买来的书拿去训练,合理使用。就在上个月,美国司法部也站出来说,拿别人的文章训练AI属于合理使用。一周后,美国国安局FBI联合发公告,中国公司蒸馏美国模型是安全威胁。拿别人的书练自己,叫合理使用。别人学你的回答就叫偷吗?何况 cld 的回答本来就是从别人的书里学来的。

更绝的是,今年5月,opas 4.8刚上线,网友用中文问他,你是谁?他答,我是通义千问。到底是谁在蒸馏谁呢?再看美国公司自己,马斯克在法庭上被问,xai 有没有蒸馏过 OpenAI?他先说,行业里都这么干。再追问,他答,部分是。美国公司蒸馏叫行业惯例,中国公司蒸馏就成了安全威胁。

难怪商务部说这是典型的双重标准。现在 anthropic 防的越来越狠,claude 的思考过程只给你看摘要,原文一个字都不给,前兆全价收。中国控股的公司去年9月起就不卖了。可这招美国早就用过,最好的显卡不卖给中国。结果 deepseek 拿着阉割版的 h800,练出了 v3和 r1,英伟达一天蒸发了5890亿美元。

今年4月的V4,官方直接写“等华为升腾950量产,价格还要大降”。防蒸馏也一样,9月Anthropic刚点名7家,10月DeepSeek照样发了新模型,自家成绩单上写代码超过了Claude Opus 5,价钱只要它的1/60。卡得越狠,逼出来的本事越硬。

我的判断:防得越狠,越是逼着国产模型、国产显卡自己站起来。这一招,短视。所以回到开头,蒸馏 cloud 算不算偷?我的答案不算。蒸馏是人人都在用的方法,anthropic 自己都承认。拿别人几百万本书练出来的 cloud,转头喊别人偷,这叫双标。

防来防去,只会把国产逼得更强,这叫短视。你觉得蒸馏算不算偷呢?评论区见。

来源:抖音 · 搜「DeepSeek」 · douyin.com