MortarBench

新的MortarBench基准测试揭示LLM在抵押贷款发放方面存在困难

一个名为MortarBench的新基准测试已被开发出来，用于评估AI代理在抵押贷款发放方面的性能。研究人员发现，目前最先进的大型语言模型在此任务中表现不佳，最高准确率仅为77.1%，并且在非英语姓名方面表现出偏见。为了解决这些局限性，引入了一个名为CRIT的置信度校准框架，该框架将准确率提高到80.5%，同时还改善了风险管理并减少了偏见。