TypedBench

新基准测试评估AI决策模型在策略遵循和成本方面的表现

研究人员推出TypedBench，一个旨在评估输出类型化答案（如分类选择或二元结果）概率的决策模型的新基准测试。该基准测试通过评估策略遵循、措辞敏感性、概率质量以及这些概率引起的实际决策结果，来解决当前评估的局限性。研究评估了一个托管模型和几个开源解码器，发现托管模型表现出措辞敏感性和低估置信度，而随着复杂性增加，解码器速度变慢且准确性降低。