为什么用 LLM 生成置信度分数是个坏主意

LLM 逐 token 生成文本，被问"有多大把握"时输出的 0.85 只是对话的合理续写，并非对任何事物的测量。该数字既不反映模型掌握的信息量，也从未针对"分数是否匹配实际正确率"做过校准，因此同一问题重问或换个措辞，分数就会变化。可靠的置信度需要基于信息量并对照真实结果检验，而 LLM 两者都不具备。