研究人员开发了 Kierston，一个城市规模的模拟引擎，以及 KierstonBench，一个旨在评估大型语言模型在犯罪调查和监控任务中能力的基准。该模拟引擎模拟了宾夕法尼亚州阿伦敦约 125,000 名居民在各种数据源中的活动和记录。对十六个语言模型的评估表明，虽然大多数模型在记录调查方面存在困难，并且经常捏造证据，但少数先进模型能够执行大多数任务，并在证据不足时恰当放弃，尽管它们仍然容易受到欺骗，并且无法取代人类调查员。 AI
影响 为 LLM 在犯罪调查和监控等敏感领域的应用建立了一个新的评估框架，并突出了当前的局限性。
排序理由 该集群描述了一个用于评估语言模型在特定研究任务上表现的新基准和模拟引擎。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Large language models are candidates for collecting and analyzing records in criminal investigations and mass surveillance. Their capability and accuracy in this work cannot currently be measured. Real deployments lack the ground truth needed to score a model's conclusions, and n…
Kierston and KierstonBench provide a simulated city-scale environment to evaluate large language models on criminal investigation tasks using linked surveillance records, revealing that only frontier models perform reliably while remaining vulnerable to deception.