Reddit · AI 创作社区· /u/wandermyz·· 6 小时前精选AI 评分58
vhotseat 开源:让本地 LLM 与 ComfyUI 在同一张 GPU 上轮流占用显存
I let a local agent run MiniMax H3 overnight on the same GPU as its LLM, without OOM. Here's the tool that makes them take turns
AI 导读
作者开源了 vhotseat,让本地 LLM 服务和 ComfyUI 在同一张消费级显卡上轮流占用 VRAM 和 RAM,避免 OOM。
选题角度
作者开源了让 LLM 与 ComfyUI 在同一张显卡上轮流占用显存的工具,并给出整夜无人值守的实测流程,适合上手实测这套交替调度。
来源:Reddit · AI 创作社区 · reddit.com