跳到正文
热点事件持续更新

OpenRouter 测算自托管 LLM 盈亏平衡点

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

OpenRouter 按 2026 年 10 月 8 日的价格测算,自托管 LLM 只有在 GPU 负载足够高时才比调用 API 便宜。以单张 RTX 3090 运行 Qwen3.8 27B 为例,盈亏平衡负载约为 6% 至 12%,但每用户吞吐仅约 15 tokens/s。 OpenRouter 称,该测算使用其 API 中各供应商的实时价格。报道同时列出其数据控制选项:Business 和 Enterprise 套餐下,发往 eu.openrouter.ai 或 us.openrouter.ai 的请求只在该区域的端点运行,越界即失败;若 ZDR 设置同时允许 Safety Retention 端点,这些端点可能保留提示与响应以检测滥用;Enterprise 套餐的 Private Endpoints 可将自有部署加入目录模型供应商列表,但须托管在支持 BYOK 的供应商上,并以相同 slug 调用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月12日
  1. OpenRouter 官方博客
    自托管 LLM 与 API 对比:自托管何时才划算

    OpenRouter 按 2026 年 10 月 8 日价格测算,自托管 LLM 只有在 GPU 负载足够高时才比 API 便宜:单张 RTX 3090 跑 Qwen3.8 27B 的盈亏平衡负载约 6% 至 12%,但每用户仅约 15 tokens/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。