实测 DeepSeek 新模型:四项任务测试长程编程能力
实战测试!Deepseek新模型有多强? 从DeepSWE的实际成绩来看,Deepseek这次着重强化了长程编程任务能力。他们自己的宣传也说,许愿式编程进入全民普惠时代。看得出来,他们对自己这款新模型的编程能力还是比较有信心的。从实战结果来看,也确实是这样,表现相当不错。#Deepseek #人工智能 #大模型 #ai #我在抖音聊科技
博主林禾Mind 用四个任务实测 DeepSeek 新模型,认为其重点强化了长程编程能力。物理教学交互模拟网站和轨道力学实验室两项效果优于 Kimi K3、智谱 GLM5.3 等此前测试的模型,霸王龙骑摩托车动画网页和视频复刻两项则表现一般。测试均基于 deepseek harness 完成,作者称官方针对该 harness 做了专门优化。
作者用四个实测任务对比 DeepSeek 新模型与 Kimi K3、GLM5.3 等模型,物理教学模拟和轨道实验室的交互效果是主要看点。
粉丝 1.8万
原AIGC后期🎥科技数码博主 / OPC创业者 分享AI实操案例分享 / AI办公提效 目标:让每个人能用好AI🤖 林禾与莉莉安的频道,合作私信 资料与开源项目整理到粉丝群↓
- 点赞
- 566
- 评论
- 34
- 分享
- 42
- 收藏
- 91
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
Deepseek 这个新模型的性能属实是太强了,朋友们,我觉得它已经不能被称之为 deepseek v4.1 flash 了,你称呼它为 deepseek v4.2 flash 甚至 v4.3 flash 都是没有问题的。我一度怀疑它是不是 v4.1 pro,看来不是,那么说明还有一个更强的在这等着我们。
我今天晚上熬夜没有睡觉,做了四个测试,来给各位直观的表现一下它的性能到底有多强。不过在此之前,我也做了一期关于它性能参数层面的解读,各位可以去翻一下。我这里简单给各位过一下,按照官方的口径就是它在各项基准测试成绩上的表现是。大多数接近GPT-5.6soul的水平,然后在部分超越了cloudopus5的水平。
我们来直接看官方公布的这个帕累托前沿吧,你们直接看他画的这个线有多么的夸张!cloudfable5在这儿,然后GPT-6.1soul在这儿,这是一个deepsw1.1的一个帕累托前沿。呃,这说明官方在这一次重点优化了长城编程任务的能力。呃,据我实际体验来说也确实是这样的。
呃,废话不多说,如果各位感兴趣,我也可以后续再做一个这个图的解读,还有呃相关的参数解读我也放到之前的视频了。我们来对照着看一下它的具体性能吧。首先就是所有的测试我都是基于deepseekharness来做的,因为他们官方说针对于deepseekharness做了专门的优化,那么我肯定是要用他们能发挥出的最佳性能的一个harness来做的,因为之前我用其他harness被喷过。
呃,那么第一个任务就是让他一个非常传统的、各位喜闻乐见的,我们也快速过一下的,就是提无汽车。然后我这里让他做一个霸王龙骑摩托车的动画网页,仅一下可能精美和细致。但是各位要注意,这里算是一个小教训:你千万不要跟他说什么“尽一切可能”这种话,否则他就会陷入雷霆大思考。
就这么一个简单的网页任务,你猜猜他用了多少 token?9.2M,9000,呃,不是,920万token,接近1000万的token用在这儿,然后工作了一个小时44分钟,我一度以为它中间是不是卡了,然后我看了一下它的工作轨迹,它叫了一大车肥鱼来画这一个网页,我的天哪,真至于吗?
大肥鱼,就是它叫了一车肥鱼来做这个,呃,各位在做一些简单任务的时候,不要去加这种过于绝对化的词语,或者说过于漫无边际的词语,可能会导致它陷入雷霆大思考,然后疯狂消耗你的token。啊,救命呐!我我我这里算是一个个人的教训吧。然后我们来看一下他做的结果怎么样吧。
这里就是他做的一个结果,呃,首先是他做了一个轰油门的功能,你可以摁空格或者点轰油门去轰油门,把它速度提到176左右。然后这个霸王龙代表蒸汽朋克的风格,这里戴一个眼罩,然后系一个红色的飘带,挺有西部飘的感觉。但是他的手似乎没有放到这个把手上啊,然后放浮在车轴上了。
然后,这个灯也有一点点抽象。呃,怎么说呢?综合评价,我只能给到个50分。因为你看,它背景也没有动,也没有那种整体运动起来的感觉。呃,这个路的方向好像还是反的,所以,在这个传统、各位喜闻乐见的这个项目上,它表现不是很好。但是,不要着急,它在其他的上面……表现简直是夯爆了!
首先是很经典的这个轨道力学实验室,我之前所有的模型都会测这个,我这里再继续给各位说一下我为什么让它测这个,因为轨道力学不是一个非常热门、有相当多参考资料的、被测烂的东西。其二就是轨道力学它跟在地球上的很多运动规律、地面上的运动规律是不一样的,所以你看它的这个轨道机动还能考虑到它的物理水平。
嗯,然后然后还有整个交互呀、绘制啊方面的各种能力的。不得不说这个版本是我目前见过所有的模型中最好的一个版本,好于KIMI的K3,好于智谱的GLM5.3。呃,首先最重要的一点就是这个地球终于有了个地球的样子,你们懂吗?就是。他做了一个地球的贴图上去,这个是我没有想到的。
就是他做了一个地球的贴图上去,其这是其一。其二就是他的圆心绑定非常正确,我之前在我上一个。Deepseek v4.1 flash 的测试视频里面,我讲它 v4 pro 的那个圆心绑定是不正确的,导致你交互起来会卡卡的。但是现在所有的问题都不变,都不复存在了,它这个交互非常丝滑。
然后教学引导方面,比如让它自动演示。这里是做了相当高倍数的一个加速啊。没有问题的,就是这是原轨道,然后这是抬升后的轨道。然后第一次点火,我看一下,哎,点火,刚才有一个小的点火特效,好像没有太跟上,但是是没有什么问题的,燃料也开始下降。然后我们来看一下画面转移吧。
呃,霍曼转移做的稍微拉了一点,但是这个好像是时间很长的一个东西。霍曼转移好像有点问题,不太准确。呃,但是整体的视觉效果,包括这个卫星的这个效果,哦,卫星的方向还有各个轴,它也标出来了。这里进入了一个椭圆轨道,让我们来看一下它的自动演示。从倾斜进入这个轨道。
不得不说它中间这个动画做的不太行,但是整体的视觉风格已经是我见过的这些里面做的最好的一个了。然后第二个是之前我看到一个非常火的视频,是 cloud ops 5.5出来的时候,一位博主用它来做的一个视频。各位可以看一下。整体的效果是相当优秀的,这是 cloud ops 5.5做出来的一个效果。
当时的评论区可以说是一片震惊,因为这个东西是完全用代码来生成的,对,他没有使用任何的生成模型,然后呢是完全靠代码来生成这样的一个效果的。之前你得自己手绘,自己做各种东西,但是现在,opus 5.5,一条收工。然后我想着看看能不能让大肥鱼复刻一个,这里是它复刻的一个结果。
不得不说还是有不小差距的,但是。你看,基本的功能还是出现了,呃,一些细节很不到位,比如像他把素材从那边拖过来的效果就是很不到位的,然后中间这个狗画的也好难看。各种交互也没有实际到位,但是能做到这个程度,我觉得也已经对我来说有点儿震惊了。呃,我这里跟他说的是让他1:1去复刻这个视频。
1:1复刻这个视频,他自己选了一个 kava 2d 的技术路线。后来我发现他的第一个版本只去进行了非常机械的复刻,因为他的分析也是基于抽帧进行的,所以他没有分析到具体的缓动曲线以及各种非线性的动效效果。我又让他分析了第二轮,这相当于是一个两次对话完成的。
他在这里还做了一个。这是。运动曲线的一个分析,表示自己确实做了还原,但是实际上还原效果不是很好吧。这个完成程度是略微超过我的预期的,是显著好于我之前在用的模型,glm 5.3的。所以这个这个复刻项目,我看它当前的表现结果的话,我可以给到一个70分的程度。
后续我或许可以让它加入更多的自由发挥,让它自己去完成这些缓冲曲线的话,效果反而可能会更好。各位可以再蹲一蹲我后续的测试。然后,第四个测试项目就是我每一次都要测的,算是我觉得相对有意义一些的一个项目。物理教学交互模拟的一个网站。这里需要让模型自己分析各种常见的题型,注意,它需要自己去找中学的常见题型,所以之前可能有朋友发现了,就是每一次出现的那些题不完全一样。
呃,就是因为有的题对于模型来说,他觉得是经典题,有的他觉得不那么经典。呃,这一次是模型选出来的这些经典题。视觉效果方面以及具体的准确度方面,是我测过这些模型里面,包括 k b k 3在内最好的一个。我们直接来看效果吧,之前这个人船模型存在一个问题,就是人,他他不会标注这个船的初始位置,导致看起来其实有一点怪。
这是其一,其二是人不会掉到水里面,人会在空中浮着。那么,dvc 是怎么解决的呢?答案是。好在这儿停住,然后让人站在船的边缘。你不能说他错了,因为人确实站在边缘,确实到边缘了,他也没有做掉下去这个效果,还是比较准确的。然后传送带模型。好,共诉各种关键帧慢放也是有的,受力分析。
啥物啊?斜面下滑、强绳都是正确的,然后这个轻绳、轻杆,这个我还专门看了一下。好,剪断!你看,这是我见过的唯一一个受力分析和各种参数标在具体位置上,并且随之运动的一个效果,看见了吗?各种参数都是标在上面,时刻变化的。这是我见过的第一个deepseek V4.1flash。
之前的那个版本,它是做不到的。就这一个版本更新,它就可以做到了。然后我们再来看圆周运动,也是没有问题的。之前这个电磁场运动的话,它的那个粒子运动轨迹其实呃挺奇怪的。我们来看,尤其是复合场,复合场的话,之前我见过的几个模型都做的比较敷衍,这个算是做的相对好一些的。
也可以说,甚至可以说是最准确的一个。然后速度偏高的这个,我们来看一下,好,向下截板。飘落,对,没错,对喽,对喽,对喽,我们来调一下电荷量试试,看见了吗?交互也是完全正常的。然后,我们来调一下质量,看见了没有?时刻变化!朋友们,我之前从来没有见过哪个模型能把这个调整过程中的时刻变化给做出来,这是我见过的第一个,非常非常令人惊喜!
朋友们,真的非常非常令人惊喜!然后,我们来看这个卫星轨道——变轨、高轨加速,这个过程也是我第一次见啊!这个项目,我已经测了5到6个模型了,它是我目前见过做的最好的一个。各位可能很难理解我现在这种感受,还有这个电厂的,打板不打板,各种类型的题目演示。
我的天,相当完美!你们去翻一下我之前 kimi k3的视频,或者其他的视频,你就能理解我为什么现在这么兴奋了。所以这四个测试看下来,就是这个我觉得跟我的提示词有一定的关系,我后续可以再给各位补测一轮。然后物理实验室这个效果相当优秀,是我目前见过的最好的一个。
然后轨道实验室这个效果,先从视觉效果以及交互体验上来看,它是我见过最好的。但是在动画还有具体的轨道位置方面,他做的表现平平,就是跟其他模型没有拉开什么差距。然后视频复刻那个,我之前有用自己的 glm 5.3 flash 去做,还有我记得之前也有让 deepseek 做过一轮。
差,效果都没有现在这个好。我后续也可以再优化一下提示词,把它做成一个更标准一些的测试项目。呃,让他自己发挥,或者能做出更好的一个缓冲曲线,我也可以自己拟一个主题啊,deepseek去做这种动画。呃,这里当然也补充一点,我个人的看法就是,我在这类视频下面经常能看到一些非常悲观,甚至可以说是绝望的抱怨,就是说国产模型永远做不到这些,诸如此类的。
但是实际上这并不是一个有相当相当大技术差距的时代,就是如果你让国产模型复刻,它可能在细节上做的没有那么好,但是如果你通过提示词优化或者多轮的调优,它也可以做个80%~90%的效果,但是这百分之八九十的效果对于技术层面这种改进速度来说,可能也就是几个月的时间。
因此,我觉得目前舆论场上对国产模型过于忧虑,甚至说落后三五年,或者说没有人用国产模型去干活,这种说法是完全的无稽之谈。它的差距真的没有各位想的那么大,最多最多也不会超过半年的一个差距。我只能说,接下来一个月,仍然是国产模型狂轰滥炸的一个时期。
或许就能赶上 gpt-6 s 超这种水平,也说不定。那么今天视频我们就先聊到这里,如果各位关于它还有什么想了解的,也可以评论区留言一下。我实在熬不动了,我得剪完这条视频先去睡了。呃,这期视频就这样。这是正在冲击10万粉的零和。如果各位对这类模型实测内容感兴趣的话,记得点赞、收藏、加个关注。
我们下期视频再见!
来源:抖音 · 搜「DeepSeek」 · douyin.com