X · 宝玉·· 5 小时前AI 评分33
Meta 工程师确认:Meta 已在生产环境用 Google TPU 跑 AI 推理
Meta 工程师确认:Meta 已在正式业务里用 Google TPU 跑 AI 推理 10 月 20 日,Google 在开发者博客发布 TPU 版 SGLang 推理引擎,文中引用了 Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 的原话:"SGLang-TorchTPU 今天已经在 Meta 的生产环境中运行。"这是目前唯一的一手确认。 TPU 是 Google 自研的 AI 芯片,对手是英伟达 GPU。推理就是 AI "上岗干活",你每问一个问题,它算出答案就是一次推理。 Zongwei Zhou 没说规模多大、用在哪些产品、TPU 是租的还是买的。The Information 今年 2 月报道过,Meta 和 Google 签了多年、数十亿美元的 TPU 租用合同,两家没有公开细节。 Google 开发者博客:https://t.co/1pKn6zeugg PyTorch 博客:https://t.co/9MglhcELsd
AI 导读
Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 确认,SGLang-TorchTPU 已在 Meta 生产环境中运行,这是 Meta 使用 Google TPU 跑 AI 推理的唯一一手确认。
博主
宝玉@dotey
粉丝 26万
AI Engineer, dedicated to learning and disseminating knowledge about AI, software engineering, and engineering management.
互动数据
- 浏览
- 6665
- 点赞
- 20
- 评论
- 29
- 分享
- 0
- 收藏
- 2
数字来自平台,为最近一次抓取时的数据。
来源:X · 宝玉 · x.com