跳到正文
热点事件持续更新

开发者发布 FeatherAttn 反向注意力内核

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

开发者 woct0rdho 发布面向 RDNA3/3.5 GPU 的注意力反向内核 FeatherAttn。他称在 Strix Halo 上测试时,head dim 128 下比 FlashAttn 快 4 倍,head dim 64 下快 1.3 倍,并称该内核使 Anima LoRA 训练快 40%。 woct0rdho 表示,该内核未使用 int8/fp8 量化或稀疏化。上述性能数据均为其自测结果。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Reddit · r/StableDiffusion
    FeatherAttn:Strix Halo 上的注意力反向 kernel,比 FlashAttn 快 4 倍

    开发者 woct0rdho 为 RDNA3/3.5 GPU 推出注意力反向 kernel FeatherAttn,在 Strix Halo 上 head dim 128 时比 FlashAttn 快 4 倍,head dim 64 时快 1.3 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。