Hugging Face Blog·· 15 小时前AI 评分36
PyTorch 2.15 的 MPS 后端更新:FP8 与 MoE 解码加速
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持,float8_e4m3fn 张量占用仅为 BF16 一半,并可通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co
MPS in PyTorch 2.15
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持,float8_e4m3fn 张量占用仅为 BF16 一半,并可通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co