跳到正文
Hacker News · AI 高分帖· gmays·· 2 天前AI 评分22

Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3

Cerebras Deploys Trillion-Parameter AI Models

AI 导读

Cerebras 披露用 59 片 WSE-3T 晶圆部署约 3T 参数的开源模型 Kimi K3,实现 1000-2000+ tokens/s 的多万亿参数模型推理。每片晶圆 44 GB 片上内存,单层约 16 GB,69 个线性注意力层每片放 2 层、24 个稠密层每片放 1 层并留出 KV cache 空间。晶圆间仅传递激活值,经 RDMA over Ethernet 每跳约 2 微秒。

打开原文cerebras.ai

来源:Hacker News · AI 高分帖 · cerebras.ai