AWS 发布 TTS 端点自动扩缩容阈值推导教程

AWS Machine Learning Blog 发布教程，介绍如何为部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 文本转语音模型设定自动扩缩容参数。做法是先实测单实例不突破 SLO 的最高并发 Q_max 和一次扩容的端到端耗时 T_total，再据此推算扩容阈值、缩容阈值和两个冷却时间，不再凭猜测设定。 教程给出前提条件：运行扩容测量前，ml.g5.xlarge 服务配额需在基线之上至少留一个空闲槽位。示例容器固定使用较早版本的 PyTorch，存在已知安全公告 PYSEC-2026-2286（torch 2.10.0 已修复），文章建议在非概念验证用途前检查并升级该版本。 文章称，示例中的全部数值可通过两个已提交的测量文件重跑复现，无需调用 AWS、不产生新费用；清理步骤不会清空缓存模型权重的 S3 桶，也不会删除存放容器镜像的 ECR 仓库，因为二者可跨模型共享。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。