在最新的 OpenAI 官方 API 文档中，Create chat completion 接口新增了两个关键参数： top_logprobs 和 logprobs 。这两个参数的主要作用是帮助用户更深入地理解和调试模型的输出结果，从而提高输出的确定性和可靠性。
logprobs
一个布尔类型的参数，如果设置为 true，API 将返回每个 token 的对数概率值。更高的对数概率值表示该 token 在给定上下文中生成的可能性更大。
应用场景
- 调试模型输出：通过分析对数概率，可以识别模型生成的不合理或低置信度的 token，从而优化提示词或调整模型参数。
- 计算序列概率：可以基于对数概率计算整个输出序列的联合概率，评估生成结果的确定性。
- 分类任务：在分类任务中，对数概率可以用于评估模型对每个类别预测的置信度，帮助用户设置分类阈值。
top_logprobs
取值为 0-5 的整数，返回对数概率最高的 n 个 token（logprobs 必须为 true）
应用场景
- 探索备选响应：通过查看候选 token，用户可以了解模型在生成文本时的备选选择，从而更好地理解模型的决策过程。
- 减少幻觉问题：通过分析候选 token 的概率分布，可以判断模型是否生成了低概率的“幻觉”结果，从而提高输出的可靠性。
- 动态推荐：在自动补全或推荐系统中，可以根据候选 token 的概率动态调整推荐内容，仅在模型对下一个 token 有高置信度时进行推荐。