跳到正文
X · 宝玉·· 5 小时前AI 评分33

Meta 工程师确认:Meta 已在生产环境用 Google TPU 跑 AI 推理

Meta 工程师确认:Meta 已在正式业务里用 Google TPU 跑 AI 推理 10 月 20 日,Google 在开发者博客发布 TPU 版 SGLang 推理引擎,文中引用了 Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 的原话:"SGLang-TorchTPU 今天已经在 Meta 的生产环境中运行。"这是目前唯一的一手确认。 TPU 是 Google 自研的 AI 芯片,对手是英伟达 GPU。推理就是 AI "上岗干活",你每问一个问题,它算出答案就是一次推理。 Zongwei Zhou 没说规模多大、用在哪些产品、TPU 是租的还是买的。The Information 今年 2 月报道过,Meta 和 Google 签了多年、数十亿美元的 TPU 租用合同,两家没有公开细节。 Google 开发者博客:https://t.co/1pKn6zeugg PyTorch 博客:https://t.co/9MglhcELsd

AI 导读

Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 确认,SGLang-TorchTPU 已在 Meta 生产环境中运行,这是 Meta 使用 Google TPU 跑 AI 推理的唯一一手确认。

打开原文x.com
博主
宝玉@dotey

粉丝 26万

AI Engineer, dedicated to learning and disseminating knowledge about AI, software engineering, and engineering management.

互动数据
浏览
6665
点赞
20
评论
29
分享
0
收藏
2

数字来自平台,为最近一次抓取时的数据。

来源:X · 宝玉 · x.com