跳到正文
热点事件持续更新

Cerebras 披露万亿参数模型跨晶圆部署方法

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Cerebras 发布技术博客,说明如何把万亿参数级大模型拆分到多块 WSE-3T 晶圆级芯片上运行。其以约 3 万亿参数的 Kimi K3 为例,按层切分到 59 块晶圆,称可实现 1000–2000+ tokens/s 的推理速度。 按 Cerebras 的说法,每块晶圆有 44 GB 片上内存,单层约 16 GB,因此模型权重常驻片上,只有激活值通过 RDMA over Ethernet 在晶圆间传递,每跳约 2 微秒。上述速度与部署效果均为 Cerebras 自述,尚未见独立验证。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. Hacker News · AI 高分帖
    Cerebras 如何用 WSE-3T 晶圆部署万亿参数模型

    Cerebras 披露在 WSE-3T 晶圆上部署万亿参数模型的方法:以约 3 万亿参数的 Kimi K3 为例,将模型按层切分到 59 块晶圆,实现 1000-2000+ tokens/s 的推理速度。每块晶圆有 44 GB 片上内存,单层约 16 GB,因此模型权重常驻片上、仅激活值经 RDMA over Ethernet 在晶圆间传递,每跳约 2 微秒。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。