Apple 研究：评估 LLM 评审员在个性化写作风格评估中的表现

Apple 研究团队评估了 LLM 评审员在个性化写作任务中的可靠性，发现评审质量与 MMLU 衡量的通用能力仅弱相关（Pearson's ρ ≤ 0.2），且随写作任务和评估标准（通用有用性 vs 风格个性化）而变化。LLM 评审员在成对比较下比独立打分更一致、表现更好，而"最强"的 LLM 并不能最可靠地复现人类评估。