南芥智能发布Mio 1.0 Lite技术报告,九项基准平均分77.15居首
南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。
选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。
内容形态
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
58 条精选近 30 天 56 条共收录 177 条
南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。
选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。
哈佛、Google DeepMind等机构联合发布理论物理评测TheoPhysEval,GPT-6 Astra在50道未发表难题中解出49道,得分98%。初评时Astra得88%、Claude Opus 5.5得92%,专家复核后发现部分标准答案存在符号错误等疏漏,修正后Astra升至98%。评测分联网与断网两轨,断网隔离轨道中Astra与Opus 5.5均为92%,平均每题API成本不到3美元。
选题角度:原文给出50道未发表物理难题的评测细节和AI反向纠错专家的过程,适合做一次评测解读,重点讲AI在隔离轨道下的表现和每题不到3美元的成本。
博主评价 Kling 4.0 在面部表情和对话场景上表现突出,认为角色的细微反应、眼神移动、情绪表达和自然互动已经相当有说服力。推文附有一段展示视频,未给出具体测试方法或量化数据。
选题角度:作者用视频展示 Kling 4.0 在面部表情和对话场景中的表现,适合截取片段逐帧对比眼神、情绪和角色互动细节。
博主林禾Mind 用四个任务实测 DeepSeek 新模型,认为其重点强化了长程编程能力。物理教学交互模拟网站和轨道力学实验室两项效果优于 Kimi K3、智谱 GLM5.3 等此前测试的模型,霸王龙骑摩托车动画网页和视频复刻两项则表现一般。测试均基于 deepseek harness 完成,作者称官方针对该 harness 做了专门优化。
选题角度:作者用四个实测任务对比 DeepSeek 新模型与 Kimi K3、GLM5.3 等模型,物理教学模拟和轨道实验室的交互效果是主要看点。
作者对DeepSeek V4.1 Flash 1017新版做了11项实测,代码与复杂工程交付提升明显,全站应用拿到49分、Token用量比旧版少三分之一,但中文创意写作和基础识图出现退步。
选题角度:作者用11项实测对比DeepSeek V4.1 Flash新旧版,代码与工程交付提升明显、中文写作和识图退步,适合按项目逐项展示前后差异。
花叔用5亿token实测10月17日发布的DeepSeek V4.1 Flash,跑了动画、游戏、3D等9个案例,并对比带skill与不带skill的效果,2000多次API调用共花28元。他称该模型在真实世界编程能力指标上超过Claude Opus 5、GPT-5.6及一众国产开源模型,但在审美和长程编程上仍与Opus 5.5有差距;模型权重已开源,API默认自带搜索能力,后续按5元每千次计费。
选题角度:作者用5亿token实测DeepSeek V4.1 Flash的9个动画、游戏、3D案例,并对比带与不带skill的效果,适合做上手实测。
作者实测 DeepSeek V4.1 Flash 1017 版本,重跑 3D 风机巡检系统和沉浸式耳机官网两个旧案例,认为前端提升非常明显,后端也有进步。在作者自建的 ModelDial 私有数据集榜单上,该版本从第 20 名升到第 13 名,前端评分从 80 多分升到 96 分,分数接近 Claude Opus 4.8。
选题角度:作者用 3D 风机巡检、耳机官网和魔方还原重跑新旧版本,并给出私有榜单从 20 名到 13 名的前后对比,适合做同任务实测对比。
DeepSeek 未开发布会,线上 deepseek-flash 模型已换成 1017 版,API 名称和价格不变,官方称其为 minor update。
选题角度:DeepSeek Flash 1017 悄悄换线上模型,Terminal-Bench 从 31.2 涨到 42.3,适合做榜单前后对比和搜索接口免费期实测。
ARC Prize 官方公布,Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上取得 97.5%,成为第二家突破 95% 的实验室,第一家是 OpenAI。
选题角度:同一模型在两种 harness 下拿到 97.5% 和 49.8%,适合做对比解读,讲清榜单分数背后操作台的差别。
Scale AI 联合 Elorian 发布新基准 Humanity's Sixth Sense(HSS),专门测试人类一眼就能完成的直觉式视觉推理,20 名人类参与者得分 93.1%,榜首 GPT-6-astra 即使开到最大推理强度也只有 53.6%,25 个模型的中位数仅 30.9%。
选题角度:Scale AI 新基准 HSS 的 522 道题和 25 个模型榜单都公开,适合挑几道人类一眼能答、模型答错的题做对比演示。
摄影师 /u/herbertseabra 实测发现 FLUX.3 Klein 在图像生成上表现平平,但在保持一致性、姿态和机位的高分辨率修图任务上近乎完美,而 FLUX.2 Klein 和 Qwen 2.1 在高分辨率修图上较为吃力。
选题角度:摄影师用 RTX 5090 实测 FLUX.3 Klein 在 3000×4000 高分辨率下的一致性修图,可对比它与 FLUX.2 Klein、Qwen 2.1 的编辑差异。
StartLux 发布决策模型 StartLux-Decision 新版本,距上个版本仅 10 天,提供 Instant(0.8B、2B、4B、9B、27B)与 AutoThink(4B、9B、27B)双模型矩阵。
选题角度:原文给出双模型矩阵、DecisionPivot 成对准确率和开源权重入口,适合做同尺寸新旧版本与 Jev 的成对准确率对比实测。
Higgsfield 在 X 上表示 Kling 4 在生成汽车概念图方面表现相当出色,并附上一条链接。原文未给出具体提示词、参数或对比素材。
选题角度:原文只有一句对 Kling 4 生成汽车概念图的评价和一条链接,缺少可复现的提示词或对比素材,难以支撑具体拍法。
Higgsfield 在 X 上表示 Kling 4 的黏土动画(claymation)效果进步明显,称其表现令人难以置信,并附上一条链接。
选题角度:原文只有一句对 Kling 4 黏土动画效果的惊叹和一条链接,缺少可复现的对比素材,暂不支持具体拍法。
Higgsfield 在 X 上评价 Kling 4.0 的画面表现,称其追逐镜头、摩托动画和光照效果看起来像赛车游戏实机画面。该帖仅附一段视频链接,未给出更多参数或对比细节。
Higgsfield 在 X 上表示,Kling 4.0 一次生成(one-shotted)了这段定格动画,耗时 15 分钟,并附上视频链接。
作者在 RTX A4500 20GB 上本地对比 Flux 3 Klein 的 bf16 base 与 distilled 两个版本,用 50 条相同提示词和相同种子、约 2MP 分辨率、官方 ComfyUI 工作流出图。
选题角度:作者在本地用 50 条相同提示词对比 Flux 3 Klein base 与 distilled,可拍成同题同种子的出图效果与耗时对比实测。
Ideogram 发布 Ideogram 4.5 very low,官方称其在图像编辑的价格与速度上推进了 Pareto 前沿,依据是 DesignArena 的评测。官方给出的数据为原生 2K、每张 0.8¢、每次编辑 8 秒,并称反复编辑不会累积伪影;其称评分更高的编辑模型价格更贵、速度更慢。
选题角度:官方给出 0.8¢ 每张、8 秒每次编辑和原生 2K 的具体数字,适合按价格与速度做同类图像编辑模型的横向对比实测。
可灵AI凌晨正式上线视频模型Kling 4.0,支持最长30秒直出,此前9月底已向部分黑金年卡及Ultra年度订阅用户开放4.0 Flash尝鲜。作者实测了城市追逐、马戏团、电梯打斗、花样滑冰等场景,认为其在物理规律理解、复杂动作衔接和镜头调度上有提升,并观察到人物压扁纸箱的形变细节。
选题角度:作者烧积分实测了30秒一镜到底、复杂打斗和全能参考替换,适合挑城市追逐或电梯打戏做效果对比。
Futurepedia 用同一提示词让四款 AI 模型生成同一罐 FutureFuel 广告图,重点考察罐身密集小字的还原度。NanoBanana 2.1 的 473 milliliter 字样清晰无误,光斑和构图也不错;GPT Image 2.5 放大后文字清楚但设计偏杂乱普通;Flux 3 在数字三上出现小错误,整体不够突出。作者认为 NanoBanana 2.1 胜出。
选题角度:同一提示词下四款图像模型生成同一罐身小字广告,逐一点评文字准确度与画面表现,适合做横向对比实测。