南芥智能发布Mio 1.0 Lite技术报告,九项基准平均分77.15居首
南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。
选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。
南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。
选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。
哈佛、Google DeepMind等机构联合发布理论物理评测TheoPhysEval,GPT-6 Astra在50道未发表难题中解出49道,得分98%。初评时Astra得88%、Claude Opus 5.5得92%,专家复核后发现部分标准答案存在符号错误等疏漏,修正后Astra升至98%。评测分联网与断网两轨,断网隔离轨道中Astra与Opus 5.5均为92%,平均每题API成本不到3美元。
选题角度:原文给出50道未发表物理难题的评测细节和AI反向纠错专家的过程,适合做一次评测解读,重点讲AI在隔离轨道下的表现和每题不到3美元的成本。
研究者提出 Taste-Bench,用 502 道二选一决策题衡量智能体在长期任务中的判断力,最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%,GPT-5.5 为 59.5%,其余模型明显更低。
Scale AI 联合 Elorian 发布新基准 Humanity's Sixth Sense(HSS),专门测试人类一眼就能完成的直觉式视觉推理,20 名人类参与者得分 93.1%,榜首 GPT-6-astra 即使开到最大推理强度也只有 53.6%,25 个模型的中位数仅 30.9%。
选题角度:Scale AI 新基准 HSS 的 522 道题和 25 个模型榜单都公开,适合挑几道人类一眼能答、模型答错的题做对比演示。
StarSkirmish Bench v0.2 让各模型在自家 CLI 工具中花 1 小时用 C++ 写 Protoss 机器人,再与 13 个机器人对战,按胜率计分。
一项基于 O*NET 923 个职业、18797 项任务的分析发现,90% 的美国工作时间花在现有 AI benchmark 几乎未覆盖的任务上。在 29 个精选 benchmark 中,仅 208 个职业有任务被至少 5 条 prompt 覆盖,22 个职业族中有 6 个完全无覆盖。覆盖还偏向高工资职业,如律师任务覆盖充分,而法律秘书、法庭书记员等中等收入知识工作明显不足。
GPT-6.1 Sol 审查了近 800 篇数学论文,发现 6% 存在重大错误,另有 30% 存在小错误。研究人员估计其重大发现的 90% 是正确的。随着 AI 使用率上升,较新论文的重大错误率降至 1.5%。
一项新基准测试让商用AI智能体在无人类提示下解50道理论物理研究题,运行在OpenAI Codex环境中的GPT-6-Astra答对49道(98%),平均每题成本不到3美元,整轮约116美元。
选题角度:原文给出50道理论物理题的完整榜单和每题成本,适合做一次多模型同题实测对比,重点看GPT-6-Astra与Opus 5.5的差距和联网与否的分数变化。
Reddit 用户 /u/matcheal 用 Krea 2 Turbo(无 LoRA)测试 77 个族裔女性、7 组提示词、固定同一 seed,发现全身提示词中不写服装词时,77 人里有 34 人输出裸体或上身裸露,其中前东欧阵营族裔占 17/21。
选题角度:作者用 77 个族裔乘 7 组提示词、固定同一 seed 实测 Krea 2 Turbo,可拍成提示词避坑教程,重点讲裸体泄漏和命名服装的差异。
新基准 Design Creativity Bench 用 80 个开放式 UI 任务、16 个前沿模型评估设计创造力,最佳模型 OpenAI GPT-6 Astra 得分 65.5,人类设计师参考分为 92.3。该基准从原创性、创意范围和 Appropriateness 三个维度衡量,而非单一输出质量指标。完整排行榜、方法论与可复现评估框架已公开。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,并设置 medium 与 maximum 两档推理强度。
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否自主做研究,任务是发明一种改进语言模型训练后阶段的新方法并独立实现、测试和迭代,起点是 GRPO,人类参考方法是 SDPO。
UniPat AI 发布 PaperBenchX,这是首个多学科端到端论文结果复现 Benchmark,覆盖 12 个研究方向、10 种科学环境,含 93 个复现任务和 3168 条专家校验评分项。测评中表现最强的 GPT-6 Astra 完整复现率仅 13.98%,建模和执行阶段平均得分约 62%,验证阶段仅 42.80%。团队已开源 12 个代表性测试任务,并维护 81 个封闭测试任务。
英伟达团队从 Nemotron 3 出发,用监督微调、强化学习和反馈驱动的推理流程,让 Nemotron 在 IOI 2026 与 IMO 2026 都达到金牌水平。
选题角度:原文公开了 SFT 与 RL 检查点、训练数据集和 NeMo-Skills 推理管线,适合按官方配方复现一次微调加生成验证的流程。
Aleph Alpha 用自建基准测试阿里千问、DeepSeek 和月之暗面 Kimi,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统判定仅 17% 到 41% 的回答算平衡,其余为复述官方立场、回避或拒答。
微软与 Hugging Face 联合发布 ThinkingBox 基准,通过 507 个有状态业务流程、每个任务重复运行 20 次,按智能体留下的后端数据库状态和副作用而非生成文本打分。
一项名为 Image-to-Code 的新方法让编码智能体接收单张照片后编写可执行的 Blender 程序,通过写代码、运行、查看结果、修改的迭代方式重建 3D 场景,输出可直接运行和修改。
针对 TypeSafe AI 发布的 Jev 决策模型,一项实验在 4 类方法、9 个候选护栏上做了对比,结论是 Jev 这类决策模型并未胜过 LLM-as-a-judge 或传统分类器。Jev 以固定 schema 输出决策、零样本且比 LLM 更快更便宜,但 Red Hat AI Safety 团队主张护栏应使用针对任务微调的小型预测模型。
Mercor 的一项研究让 12 位平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上比会计师更快、更准、成本更低;18 个月前最好的模型得分还低于会计师约 37% 的平均水平,如今已几乎无差错。
Graphite 研究发现 Claude Opus 5.5 的写作特征词是“dependable”,出现频率是人类的 23 倍,而“this matters”比人类写作多用 116 倍。
Anthropic 发布分析称,智谱开源权重模型 GLM-5.3 在漏洞利用开发上已接近其 Claude Mythos Preview。
选题角度:Anthropic 报告给出 GLM-5.3 与 Claude Mythos Preview 在漏洞利用基准上的具体差距,适合做能力对比解读。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Forecasting Research Institute(FRI)的研究发现,顶尖 AI 专家和超级预测者都严重低估了 AI 的进展速度。AI 在 2025 年 7 月达到国际数学奥林匹克金牌水平,比专家预测中位数早五年、比超级预测者早十年;专家对实际发生结果的预测平均概率为 24.6%,超级预测者仅 9.7%。
Epoch AI 测算,在固定 AI benchmark 分数下,成本平均每季度下降约 47%,约合每年 13 倍,快于以往任何变革性技术。MIT 研究者用 Artificial Analysis 数据得出年降幅为 5 至 10 倍,剔除硬件降价与竞争因素后,纯算法效率提升约为每年 3 倍。
诺因(Knowin)9月24日发布面向通用具身智能的生成式学习架构GLOW技术报告,核心是让机器人通过人类一次完整操作学会任务并跨物体、跨环境、跨任务复用。
DrivingBench 把前沿模型的输出接入一辆丰田 Corolla 的方向盘、油门和刹车,在固定锥桶赛道上评测其驾驶能力。评测指标包括沿赛道中心线的进度、GPS 速度积分得到的距离、完成时间、接受的 set_motion 与 stop_now 指令数,以及按标价计算的 token 与成本,同一对话最多尝试 3 次。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景,衡量模型回复的助益性与安全性。
英国 AI Security Institute(AISI)正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测的可复现性。
第三方公益机构 Robocurve 发布机器人安全基准 RoboHarm,把 GPT-6 Astra、Fable 5.1 和 MolmoAct2 接入同一套双机械臂机器人,测试刺伤类人生物、加热压缩气体、制造有毒烟雾等五类危险任务,每个任务重复 20 次。
选题角度:第三方机构把多个前沿模型接入真实机械臂做危险任务测试,公开了完整视频和数据,适合做效果对比与安全争议讨论。
Robocurve 发布 RoboHarm 基准,测试 AI 模型在操控机械臂时是否会拒绝危险指令,结果大多数情况下不会。研究用 I2RT-YAM 机械臂测试 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2,每项指令 20 次尝试、共 300 次试验并由人工评审。