跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

58 条精选近 30 天 56 条共收录 177 条

更新

评测基准的精选

10月18日周日第 1–20 条
  1. 公众号 · 新智元58

    南芥智能发布Mio 1.0 Lite技术报告,九项基准平均分77.15居首

    南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。

    选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。

  2. 公众号 · 新智元76

    哈佛等机构发布TheoPhysEval评测:GPT-6 Astra解决98%理论物理难题

    哈佛、Google DeepMind等机构联合发布理论物理评测TheoPhysEval,GPT-6 Astra在50道未发表难题中解出49道,得分98%。初评时Astra得88%、Claude Opus 5.5得92%,专家复核后发现部分标准答案存在符号错误等疏漏,修正后Astra升至98%。评测分联网与断网两轨,断网隔离轨道中Astra与Opus 5.5均为92%,平均每题API成本不到3美元。

    选题角度:原文给出50道未发表物理难题的评测细节和AI反向纠错专家的过程,适合做一次评测解读,重点讲AI在隔离轨道下的表现和每题不到3美元的成本。

  3. X · Charaspower58

    博主实测 Kling 4.0 面部表情与对话场景表现

    博主评价 Kling 4.0 在面部表情和对话场景上表现突出,认为角色的细微反应、眼神移动、情绪表达和自然互动已经相当有说服力。推文附有一段展示视频,未给出具体测试方法或量化数据。

    选题角度:作者用视频展示 Kling 4.0 在面部表情和对话场景中的表现,适合截取片段逐帧对比眼神、情绪和角色互动细节。

  4. 抖音 · 搜「DeepSeek」72

    实测 DeepSeek 新模型:四项任务测试长程编程能力

    博主林禾Mind 用四个任务实测 DeepSeek 新模型,认为其重点强化了长程编程能力。物理教学交互模拟网站和轨道力学实验室两项效果优于 Kimi K3、智谱 GLM5.3 等此前测试的模型,霸王龙骑摩托车动画网页和视频复刻两项则表现一般。测试均基于 deepseek harness 完成,作者称官方针对该 harness 做了专门优化。

    选题角度:作者用四个实测任务对比 DeepSeek 新模型与 Kimi K3、GLM5.3 等模型,物理教学模拟和轨道实验室的交互效果是主要看点。

  5. 抖音 · 搜「DeepSeek」72

    DeepSeek V4.1 Flash 1017新版11项实测:代码与工程提升、中文写作退步

    作者对DeepSeek V4.1 Flash 1017新版做了11项实测,代码与复杂工程交付提升明显,全站应用拿到49分、Token用量比旧版少三分之一,但中文创意写作和基础识图出现退步。

    选题角度:作者用11项实测对比DeepSeek V4.1 Flash新旧版,代码与工程交付提升明显、中文写作和识图退步,适合按项目逐项展示前后差异。

  6. 抖音 · 搜「DeepSeek」78

    花叔用5亿token实测DeepSeek V4.1 Flash:9个案例与skill对比

    花叔用5亿token实测10月17日发布的DeepSeek V4.1 Flash,跑了动画、游戏、3D等9个案例,并对比带skill与不带skill的效果,2000多次API调用共花28元。他称该模型在真实世界编程能力指标上超过Claude Opus 5、GPT-5.6及一众国产开源模型,但在审美和长程编程上仍与Opus 5.5有差距;模型权重已开源,API默认自带搜索能力,后续按5元每千次计费。

    选题角度:作者用5亿token实测DeepSeek V4.1 Flash的9个动画、游戏、3D案例,并对比带与不带skill的效果,适合做上手实测。

  7. 抖音 · 搜「DeepSeek」75

    实测 DeepSeek V4.1 Flash 1017:前端提升明显,私有榜单升至第 13 名

    作者实测 DeepSeek V4.1 Flash 1017 版本,重跑 3D 风机巡检系统和沉浸式耳机官网两个旧案例,认为前端提升非常明显,后端也有进步。在作者自建的 ModelDial 私有数据集榜单上,该版本从第 20 名升到第 13 名,前端评分从 80 多分升到 96 分,分数接近 Claude Opus 4.8。

    选题角度:作者用 3D 风机巡检、耳机官网和魔方还原重跑新旧版本,并给出私有榜单从 20 名到 13 名的前后对比,适合做同任务实测对比。

10月17日周六
  1. 公众号 · 新智元58

    Scale AI 发布 HSS 基准测试 AI 视觉直觉,最强模型 GPT-6-astra 仅得 53.6 分

    Scale AI 联合 Elorian 发布新基准 Humanity's Sixth Sense(HSS),专门测试人类一眼就能完成的直觉式视觉推理,20 名人类参与者得分 93.1%,榜首 GPT-6-astra 即使开到最大推理强度也只有 53.6%,25 个模型的中位数仅 30.9%。

    选题角度:Scale AI 新基准 HSS 的 522 道题和 25 个模型榜单都公开,适合挑几道人类一眼能答、模型答错的题做对比演示。

10月16日周五
  1. Reddit · r/StableDiffusion58

    FLUX.3 Klein 图像生成表现平平,但高分辨率一致性修图近乎完美

    摄影师 /u/herbertseabra 实测发现 FLUX.3 Klein 在图像生成上表现平平,但在保持一致性、姿态和机位的高分辨率修图任务上近乎完美,而 FLUX.2 Klein 和 Qwen 2.1 在高分辨率修图上较为吃力。

    选题角度:摄影师用 RTX 5090 实测 FLUX.3 Klein 在 3000×4000 高分辨率下的一致性修图,可对比它与 FLUX.2 Klein、Qwen 2.1 的编辑差异。

  2. 公众号 · 新智元爆款48

    StartLux 发布 StartLux-Decision 新版本,称在 Decision Index 0.3 上断层第一

    StartLux 发布决策模型 StartLux-Decision 新版本,距上个版本仅 10 天,提供 Instant(0.8B、2B、4B、9B、27B)与 AutoThink(4B、9B、27B)双模型矩阵。

    选题角度:原文给出双模型矩阵、DecisionPivot 成对准确率和开源权重入口,适合做同尺寸新旧版本与 Jev 的成对准确率对比实测。

  3. Reddit · r/StableDiffusion58

    Flux 3 Klein base 与 distilled 本地实测对比

    作者在 RTX A4500 20GB 上本地对比 Flux 3 Klein 的 bf16 base 与 distilled 两个版本,用 50 条相同提示词和相同种子、约 2MP 分辨率、官方 ComfyUI 工作流出图。

    选题角度:作者在本地用 50 条相同提示词对比 Flux 3 Klein base 与 distilled,可拍成同题同种子的出图效果与耗时对比实测。

  4. X · Ideogram62

    Ideogram 4.5 very low 发布,图像编辑 0.8¢ 每张、8 秒每次

    Ideogram 发布 Ideogram 4.5 very low,官方称其在图像编辑的价格与速度上推进了 Pareto 前沿,依据是 DesignArena 的评测。官方给出的数据为原生 2K、每张 0.8¢、每次编辑 8 秒,并称反复编辑不会累积伪影;其称评分更高的编辑模型价格更贵、速度更慢。

    选题角度:官方给出 0.8¢ 每张、8 秒每次编辑和原生 2K 的具体数字,适合按价格与速度做同类图像编辑模型的横向对比实测。

  5. 公众号 · 数字生命卡兹克78

    可灵4.0正式上线,支持30秒一镜到底与多帧参考

    可灵AI凌晨正式上线视频模型Kling 4.0,支持最长30秒直出,此前9月底已向部分黑金年卡及Ultra年度订阅用户开放4.0 Flash尝鲜。作者实测了城市追逐、马戏团、电梯打斗、花样滑冰等场景,认为其在物理规律理解、复杂动作衔接和镜头调度上有提升,并观察到人物压扁纸箱的形变细节。

    选题角度:作者烧积分实测了30秒一镜到底、复杂打斗和全能参考替换,适合挑城市追逐或电梯打戏做效果对比。

  6. Futurepedia60

    四款 AI 模型同题生成广告图,NanoBanana 2.1 小字最清晰

    Futurepedia 用同一提示词让四款 AI 模型生成同一罐 FutureFuel 广告图,重点考察罐身密集小字的还原度。NanoBanana 2.1 的 473 milliliter 字样清晰无误,光斑和构图也不错;GPT Image 2.5 放大后文字清楚但设计偏杂乱普通;Flux 3 在数字三上出现小错误,整体不够突出。作者认为 NanoBanana 2.1 胜出。

    选题角度:同一提示词下四款图像模型生成同一罐身小字广告,逐一点评文字准确度与画面表现,适合做横向对比实测。