UnpredictaBench

新基准 UnpredictaBench 测试大型语言模型分布随机性

研究人员推出了 UnpredictaBench，这是一个旨在评估大型语言模型（LLM）捕捉真实底层概率分布能力的新基准。该基准解决了 LLM 倾向于生成单一合理答案的问题，这对于需要校准样本的模拟来说是有问题的。UnpredictaBench 包含跨越各种分布的 448 个问题，并使用 KS@N 指标来量化模型性能，揭示了不同模型之间分布能力的巨大差异。