Hacker News · AI 高分帖· amrrs·· 19 小时前AI 评分22
为什么你需要自建 LLM 代理来掌握模型调用情况
If you don't run your own LLM proxy, how do you know whats going on?
AI 导读
针对依赖第三方订阅前端调用 LLM 的现状,文章主张自建 LLM 代理:在单一端点统一接入多供应商、多模型,并记录哪个 key 在何时以何种客户端调用了哪个模型及状态。作者还建议用虚拟 API key 替代到处散落的主 key,并指出自建代理可快速切换模型与供应商,且能通过 API 自动化排查缓存未命中等情况。
来源:Hacker News · AI 高分帖 · jrdsgl.com