实测 DeepSeek V4.1 Flash 1017:前端提升明显,私有榜单升至第 13 名
DeepSeek V4.1 Flash 1017 实测太猛了 本以为这次主要升级前端,跑完发现后端也变强了。 这期把之前测过的 3D 风机巡检系统、沉浸式耳机官网重新跑了一遍,看看 DeepSeek V4.1 Flash 1017 的页面效果和实际交互到底进步了多少。 再加上魔方还原测试,以及我们自己的 ModelDial 私有数据集 Benchmark,一起看看它能做到哪一步。 我的体感是:前端提升非常明显,后端也有进步。在我们的私有评测榜单上,分数已经接近 Claude Opus 4.8。不过复杂魔方任务仍然能看出它和 GPT 6.1 SOL 的差距,具体表现都放在视频里。 你用上这个版本了吗? 最明显的变化是什么? 欢迎在评论区聊聊,也可以留下下期想看的测试题。 #AI新星计划 #deepseekv41flash1017 #deepseekv41新版本 #deepseekflash #deepseekv41
作者实测 DeepSeek V4.1 Flash 1017 版本,重跑 3D 风机巡检系统和沉浸式耳机官网两个旧案例,认为前端提升非常明显,后端也有进步。在作者自建的 ModelDial 私有数据集榜单上,该版本从第 20 名升到第 13 名,前端评分从 80 多分升到 96 分,分数接近 Claude Opus 4.8。
作者用 3D 风机巡检、耳机官网和魔方还原重跑新旧版本,并给出私有榜单从 20 名到 13 名的前后对比,适合做同任务实测对比。
粉丝 3.1万
MediaCrawler、cc-haha作者 开源累计获得90k Star 分享AI Agent知识 提示词和工具🔗:ajiang.me
- 点赞
- 1773
- 评论
- 181
- 分享
- 474
- 收藏
- 387
约为这个来源平时的 4.5 倍
数字来自平台,为最近一次抓取时的数据。
以下是视频口播的自动转写,可能有错字。
就在刚刚,deepseek v4.1 flash 新版本更新了,更新到了1017版本。那官方的这一篇文章里面可以看到它的标题,许愿式编程,一键成真。也就是说,它的能力在前端方面进行了很大的提升。我们可以看到左侧的这一个评分榜单,相较于它上一个版本提升都非常的明显。
我比较关注的是 terminal 4.0,可以看到相对于原来提升了10分。还有 deep app 1.1的话,它也是提升了3分左右。那官方这边也给了一个,就是可以看到这个任务图哈,就是他在达到相同的这个智能下面,他的这一个钱只花了1块钱。这个斩杀线这张图,我相信最近这两天会非常非常的火。
那官方这边也给了很多 case 啊,可以看到这个故宫的3d建模,大家觉得怎么样?我觉得都非常的 nice 啊,你可以看到它的这个前端能力,我感觉都非常的猛。那第二个的话,他们搞了这个开放式的自研搜索 api,也就是说你现在在,比如说 Claude Code 呀,在 deepseek harness 啊,你的那些 search 的接口已经可用了。
好,下面我们废话不多说,直接拿我们之前测的 case 来测一遍它,看它这个前端能力。提升到底怎么样,以及它的后段能力有没有变化?ok,好,我们来看一下第一个 case,3d 风力发电的巡检系统。那这个 case 的话,之前在这个国产模型这边表现的比较差。
那这边用 deepseek v4.1 flash 新的版本,再加上 deepseek harness 新的版本,大概跑了一个多小时跑完了,我们来看一下它整体的表现情况怎么样?可以看到这是它的加载界面。因为我对这个 case 比较熟悉,从刚刚我们看到这个入场页面,它已经非常好了,而且之前在上一个版本,它这样转动根本就不行。
好,我们点一个有问题的这一个风机看一下。可以看到这边,它整个的旋转都是非常非常的 ok 的,比它上一版真的是好太多太多了。那么点击创建一下维护任务,可以选吗?可以看到这块是已经 ok 的。那我们来看一下它的一些告警,告警这一块就是相当于说把哪些有问题的说出来嘛,也是相当相当 ok 了。
如果大家对上一个版本感兴趣,可以看我之前的视频,就是提升非常非常的明显。不仅仅是官方说的它3d提升明显,前端提升明显,从我的体感上也比较明显。好,我们来看一下第二个 case,就是一个耳机式的沉浸式官网,之前我们也写过,大家如果熟悉我的朋友应该看到,我们直接来看下它的效果怎么样。
这是它的首页哦,我感觉都会比上一个版本会好很多哎!我们点一下这个。这个还行哦,这个整体的实现上来看,我们来看它这个生产,这个已经实现的比较棒了,这是耳机的3层结构。只能说它这一代的这个前端提升非常非常的明显。好,我们来看一下我的第三类测试。
那这个题目也是我昨天写完的,是我准备了一个,就是让模型去还原魔方的二阶的、三阶的。然后二阶的题目下面有各种步骤,那我们先来一个简单的,就二阶下面搞一个三步,对吧?我们来换个题。然后参赛的模型的话是 gpt 6.1,然后 deepseek flash 最新的版本 kimi k3,我们直接开测。
开车了,我们再准备搞一个别的。好,他现在在测啊!我们这时候再让他去测别的,并行去干嘛?我们再来一个六个步骤的吧,再换一个这个,然后再点击,我们再换,继续换,再来一个二十步的,然后换一个题。然后我们再来一个三阶的,三阶其实相对来说就是比较难一点,我们来个四步吧,三阶我们再换一个种子,ok,再来。
再来一个完整步骤,我们再打乱一下,让它去跑。待会我会告诉大家这个结果的。好,可以看到这块它已经开始转了,这个时候 gpt 6.1 sol 这边已经跑了8步了,那这个 deepseek flash 这边已经跑了3步了。这个是三阶的魔方,然后完全打乱的,这个其实难度还就相对比较高的。
让它跑一下,我们看下别的有变化吗?哦,这边它也在跑了。好,可以看到这边。这一个三阶四步还原的这个 gpt 6.1,so,它已经还原了哈。那 deepseek 这边,现在应该还在大思考中,就现在它比较容易搜,因为我们的思考强度都是最高嘛。对,他已经思考了一分,快2分钟了。
好,我们来看一下这个魔方实验的话,二阶最少三步还原,可以看到 gpt 6.1,他花的时间是最少的,所以说他现在排在第一。那 deepseek flash 也将就,它也还行。那 kimi k3这边。因为跑到37步的时候,会有一个 api 的错误。
那这块就暂时先排它第三嘛,因为它确实是,就时间花费的会长一点。我们来看一下第二个,第二个的话也是 gpt 6.1,这边就是二阶的话,也是最少6步可以还原,也是 gpt 6.1,之后会好一点。deepseek flash 的话,它也是还原。那 kimi 这边的话,也是100多步之后出现了一个 api 错误。
那这个的话,我在下一个版本会优化,但整体来上来说的话,它的时间会长一点嘛。就是,那第三个的话,是二阶里面20步骤,就是直接全部打乱,可以看到这边。还是 gpt 6.1,so,它是,就是完成的会比较好一点,15步就完了。那 deepseek flash 的话,它112步。
那 deepseek kimi k3这边的话是193步,它都没有还原。但大家可要知道,这是 deepseek flash 模型哦,它的参数量跟它完全是比不了,但是它其实也能完成这个任务的。我们来看一下它的还原吧,看能不能给大家还原看一下。按整体看就是 kimi k3确实速度上要慢一点,然后在它这个,对我们魔方这个实验来说的话,它其实完成度相较于来说比较一般一点。
那第三个的话是这个三阶的,三阶的话四步骤可以还原,那也是,就是 gpt 6.1这边要猛一点,它也是四步,deepseek flash 十步,那 kimi 这边也是因为我的问题吧,41步它没有还原,我的当时的代码估计有点问题。它的权限没有重试,下一个版本我会加上重试的。
反正他花了41步没有还原,他应该排第三。三阶20步骤随机还原,那还是 gpt 6.1还原的。但是kimi k3这边也是失败了嘛,他也是34步就失败了,所以这个就不太好去对比。那 deepseek flash 的话,在这个它是没有还原的,只有在这个难度上的话,它还是跟 gp 6.1会有差距的。
所以通过这个 case 看的话,deepseek flash 在大部分的这一个测试上的话,它其实跟 gpt 6.1它都能完成这个魔方的还原。那比这个 kimi k3的话,速度上会快一点。那 kimi k3这边是因为我的问题嘛,没加重试,他可能也能完成,他只是说会步骤会更多一点,或者是他的这个耗时会更长一点。
因为可以看到大家在在一些已还原的这个数据上的话,其实kimi k3这边,它就耗的时间会长一点嘛。那在后端方面的话,大家可以看我们最新的这一个 model dial 的这个模型评测。那这边的话也是我们做了一些私有数据集,那 deepseek flash 这边呢,我们刚刚跑完了,它已经来到了第13名。
可以看到哈,他以前是在哪里?以前是在这个位置的,以前是跟 mini max m30 flash 这个位置,以前是在20名,现在他已经到了第13名。就是前端啊,提升到96分了,上一个版本是50,是80多分。那后端也提升了,它的知识推理也提升了,视觉审美都提升了。
所以说可以看到它这一代的模型,我觉得真的是已经到了一个斩杀线了,相当相当的顶。大家如果平时对一些模型评测感兴趣的,可以来到我们这个 modeldev 这个网站哈。那这边的话还有就是比如说你对一些20刀、100刀的这个订阅,它所消耗的这个 token 呀、api 感兴趣的,也可以来这边看一下。
好,我们来进行一个总结,就是 deepseek flati 这个模型,从我们这个榜单上来看,它已经跟那个 cloud ops 4.8这个分数上其实已经非常非常接近了。而且它的这个就是成本呐,我们刚刚可以最开始看到的成本是相当相当的低,所以国产模型又一次要崛起了嘛,我们很期待这个 deepseek pro 模型的发布啊,ok 这就是今天视频所有内容,我是阿杰,我们下期视频再见,拜拜。
来源:抖音 · 搜「DeepSeek」 · douyin.com