公众号 · 新智元·· 3 小时前精选AI 评分60
DeepMind 论文指出 Softmax 与交叉熵实现存在 Bug，Gemini 参与发现并修复
AI教科书全错！底层公式惊天Bug曝光，Gemini率先自我修复
AI 导读
Google DeepMind 的 Jonathan T. Barron 团队在 arXiv 提交论文《Softmax和交叉熵的修复》，指出 PyTorch、JAX 和教科书中的标准 Softmax 与交叉熵实现都存在舍入 Bug，会把极小数值舍入为零，导致梯度消失和训练震荡。
选题角度
原文给出模加法任务上93.3%到100.0%的准确率对比和修复代码思路，适合做一次新旧实现的效果对比实测。
来源：公众号 · 新智元 · mp.weixin.qq.com