研究人员开发了 Kierston，一个城市规模的模拟引擎，以及 KierstonBench，一个旨在评估大型语言模型在犯罪调查和监控任务中能力的基准。该模拟引擎模拟了宾夕法尼亚州阿伦敦约 125,000 名居民的活动和记录，为评估 LLM 性能提供了真实依据。对十六个语言模型的评估显示，大多数模型在记录调查方面存在困难，并且经常产生未经证实的识别，而少数先进模型表现更好，但在处理欺骗和假设方面仍存在局限性，未能完全取代人类调查员。 AI
影响 该基准测试有望推动 LLM 在犯罪调查等专业、高风险应用中的能力改进。
排序理由 该集群描述了一个用于评估特定研究领域语言模型的新基准和模拟引擎。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
