AWS 发布在 Trainium 上训练 Qwen3 的教程

AWS 发布教程，介绍在单台 trn2.48xlarge 上用 torchtitan 训练 Qwen3。torchtitan 通过 TorchNeuron 把 Trainium 注册为原生 PyTorch 设备，教程给出三种训练 Qwen3-4B-Instruct-2507 的方式：Transformers v5 后端、torchtitan 原生 Qwen3 配置，以及叠加 NKI MoE kernel。 复现需使用 AWS Deep Learning AMI for Neuron 或 Neuron PyTorch 训练容器，并固定教程所列版本；序列长度须为 128×LNC 的倍数（LNC 为 2 时即 256）。教程另将 Qwen3-30B-A3B 缩减为 4 层、64 个专家，以便在单台 trn2.48xlarge 上运行。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。