Andrew G. Semenov

新的基准测试 LLM 在犯罪调查和监控任务中的能力

研究人员开发了 Kierston，一个城市规模的模拟引擎，以及 KierstonBench，一个旨在评估大型语言模型在犯罪调查和监控任务中能力的基准。该模拟引擎模拟了宾夕法尼亚州阿伦敦约 125,000 名居民的活动和记录，为评估 LLM 性能提供了真实依据。对十六个语言模型的评估显示，大多数模型在记录调查方面存在困难，并且经常产生未经证实的识别，而少数先进模型表现更好，但在处理欺骗和假设方面仍存在局限性，未能完全取代人类调查员。