Normal pool

新的BENCHCOMPASS基准测试评估了支付领域LLM的性能

一个名为BENCHCOMPASS的新基准测试已被开发出来，专门用于评估支付领域的大型语言模型（LLM）。该基准测试通过隔离与支付规则知识、证据推理和输入鲁棒性相关的失败模式，解决了现有评估的局限性。BENCHCOMPASS包含一个经过专家审查任务的精选“Pro”基准测试和一个用于进一步开发的“Normal”池，揭示了当前LLM中不同的失败模式。