Hacker News · AI 高分帖· gmays·· 2 天前AI 评分22
Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3
Cerebras Deploys Trillion-Parameter AI Models
AI 导读
Cerebras 披露用 59 片 WSE-3T 晶圆部署约 3T 参数的开源模型 Kimi K3,实现 1000-2000+ tokens/s 的多万亿参数模型推理。每片晶圆 44 GB 片上内存,单层约 16 GB,69 个线性注意力层每片放 2 层、24 个稠密层每片放 1 层并留出 KV cache 空间。晶圆间仅传递激活值,经 RDMA over Ethernet 每跳约 2 微秒。
来源:Hacker News · AI 高分帖 · cerebras.ai