跳到正文
10月18日周日
  1. 公众号 · 新智元58

    南芥智能发布Mio 1.0 Lite技术报告,九项基准平均分77.15居首

    南芥智能发布技术报告《Toward Collective Model Intelligence》,提出「模型群体智能」方向,并推出协调多款国产模型的Mio 1.0 Lite。

    选题角度:技术报告给出九项基准的得分与单次成本对比,适合做一张成本与得分的对照图,讲清国产模型组合如何反超前沿单体模型。

  2. 公众号 · 新智元76

    哈佛等机构发布TheoPhysEval评测:GPT-6 Astra解决98%理论物理难题

    哈佛、Google DeepMind等机构联合发布理论物理评测TheoPhysEval,GPT-6 Astra在50道未发表难题中解出49道,得分98%。初评时Astra得88%、Claude Opus 5.5得92%,专家复核后发现部分标准答案存在符号错误等疏漏,修正后Astra升至98%。评测分联网与断网两轨,断网隔离轨道中Astra与Opus 5.5均为92%,平均每题API成本不到3美元。

    选题角度:原文给出50道未发表物理难题的评测细节和AI反向纠错专家的过程,适合做一次评测解读,重点讲AI在隔离轨道下的表现和每题不到3美元的成本。

10月17日周六
  1. 公众号 · 新智元58

    Scale AI 发布 HSS 基准测试 AI 视觉直觉,最强模型 GPT-6-astra 仅得 53.6 分

    Scale AI 联合 Elorian 发布新基准 Humanity's Sixth Sense(HSS),专门测试人类一眼就能完成的直觉式视觉推理,20 名人类参与者得分 93.1%,榜首 GPT-6-astra 即使开到最大推理强度也只有 53.6%,25 个模型的中位数仅 30.9%。

    选题角度:Scale AI 新基准 HSS 的 522 道题和 25 个模型榜单都公开,适合挑几道人类一眼能答、模型答错的题做对比演示。

  2. Hacker News · AI 高分帖36

    研究:90% 的美国工作时间花在 AI benchmark 覆盖不足的任务上

    一项基于 O*NET 923 个职业、18797 项任务的分析发现,90% 的美国工作时间花在现有 AI benchmark 几乎未覆盖的任务上。在 29 个精选 benchmark 中,仅 208 个职业有任务被至少 5 条 prompt 覆盖,22 个职业族中有 6 个完全无覆盖。覆盖还偏向高工资职业,如律师任务覆盖充分,而法律秘书、法庭书记员等中等收入知识工作明显不足。

10月16日周五
10月15日周四
  1. The Decoder78

    GPT-6-Astra在50道理论物理研究题中解出49道,单题成本约2.40美元

    一项新基准测试让商用AI智能体在无人类提示下解50道理论物理研究题,运行在OpenAI Codex环境中的GPT-6-Astra答对49道(98%),平均每题成本不到3美元,整轮约116美元。

    选题角度:原文给出50道理论物理题的完整榜单和每题成本,适合做一次多模型同题实测对比,重点看GPT-6-Astra与Opus 5.5的差距和联网与否的分数变化。

  2. Reddit · r/StableDiffusion71

    有人实测 Krea 2 Turbo:77 个族裔 × 7 组提示词、同一 seed 下的输出差异

    Reddit 用户 /u/matcheal 用 Krea 2 Turbo(无 LoRA)测试 77 个族裔女性、7 组提示词、固定同一 seed,发现全身提示词中不写服装词时,77 人里有 34 人输出裸体或上身裸露,其中前东欧阵营族裔占 17/21。

    选题角度:作者用 77 个族裔乘 7 组提示词、固定同一 seed 实测 Krea 2 Turbo,可拍成提示词避坑教程,重点讲裸体泄漏和命名服装的差异。

  3. Hacker News · AI 高分帖38

    为什么 LLM 生成的鹈鹕长这样?

    新基准 Design Creativity Bench 用 80 个开放式 UI 任务、16 个前沿模型评估设计创造力,最佳模型 OpenAI GPT-6 Astra 得分 65.5,人类设计师参考分为 92.3。该基准从原创性、创意范围和 Appropriateness 三个维度衡量,而非单一输出质量指标。完整排行榜、方法论与可复现评估框架已公开。

10月11日周日
10月8日周四
  1. 量子位40

    PaperBenchX 测评:GPT-6 Astra 论文复现率仅 13.98%

    UniPat AI 发布 PaperBenchX,这是首个多学科端到端论文结果复现 Benchmark,覆盖 12 个研究方向、10 种科学环境,含 93 个复现任务和 3168 条专家校验评分项。测评中表现最强的 GPT-6 Astra 完整复现率仅 13.98%,建模和执行阶段平均得分约 62%,验证阶段仅 42.80%。团队已开源 12 个代表性测试任务,并维护 81 个封闭测试任务。

10月7日周三
10月4日周日
10月3日周六
10月2日周五
  1. Hacker News · AI 高分帖22

    研究:Jev 等决策模型并未胜过 LLM-as-a-judge 或传统分类器

    针对 TypeSafe AI 发布的 Jev 决策模型,一项实验在 4 类方法、9 个候选护栏上做了对比,结论是 Jev 这类决策模型并未胜过 LLM-as-a-judge 或传统分类器。Jev 以固定 schema 输出决策、零样本且比 LLM 更快更便宜,但 Red Hat AI Safety 团队主张护栏应使用针对任务微调的小型预测模型。

9月30日周三
9月25日周五
9月24日周四
9月23日周三
  1. Hacker News · AI 高分帖62

    DrivingBench 让前沿模型操控丰田 Corolla 跑锥桶赛道

    DrivingBench 把前沿模型的输出接入一辆丰田 Corolla 的方向盘、油门和刹车,在固定锥桶赛道上评测其驾驶能力。评测指标包括沿赛道中心线的进度、GPS 速度积分得到的距离、完成时间、接受的 set_motion 与 stop_now 指令数,以及按标价计算的 token 与成本,同一对话最多尝试 3 次。

9月22日周二
9月21日周一
  1. 量子位78

    Robocurve 发布 RoboHarm 基准:GPT-6 Astra 在 97% 危险任务中尝试执行

    第三方公益机构 Robocurve 发布机器人安全基准 RoboHarm,把 GPT-6 Astra、Fable 5.1 和 MolmoAct2 接入同一套双机械臂机器人,测试刺伤类人生物、加热压缩气体、制造有毒烟雾等五类危险任务,每个任务重复 20 次。

    选题角度:第三方机构把多个前沿模型接入真实机械臂做危险任务测试,公开了完整视频和数据,适合做效果对比与安全争议讨论。

9月19日周六