跳到正文
AWS Machine Learning Blog· Khaled Thabit·· 3 小时前AI 评分22

修正评估偏差,在 Amazon Bedrock 上选出更好的模型

Fix evaluation bias to unlock better models on Amazon Bedrock

AI 导读

Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中结构性处于劣势。团队改用专家独立标注的 356 张 UAE 图像构建无偏基准,并将单标签改为多标签分类,再通过 v0 到 v27 的提示词迭代优化在 Amazon Bedrock 上选型,最终准确率更高且成本降低 86%。

打开原文aws.amazon.com

来源:AWS Machine Learning Blog · aws.amazon.com