研究人员开发了AMLworld-Compact，这是一个新的评估集，旨在显著降低在AMLworld等复杂基于图的数据集上评估大型语言模型（LLM）的成本和时间。该方法采用一种名为HT-Coreset协议的重要性加权下采样技术，将评估目标的数量减少多达611倍，同时仍能提供精确度和F1分数等关键指标的无偏估计。该方法旨在使LLM评估更高效、更易于访问，特别是在大规模金融图数据方面，从而能够进行更有效的错误诊断和模型比较。 AI
影响 能够对LLM进行更具成本效益和效率的评估，有可能加速金融欺诈检测等领域的研究和开发。
排序理由 该集群描述了一种在arXiv上的学术论文中提出的LLM评估新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.13627v1 Announce Type: new Abstract: Evaluating large language models (LLMs) on AMLworld's smallest test splits is costly because each of over a million targets requires a separate graph prompt. Sampling reduces this cost, but small balanced subsets change unweighted p…
Evaluating large language models (LLMs) on AMLworld's smallest test splits is costly because each of over a million targets requires a separate graph prompt. Sampling reduces this cost, but small balanced subsets change unweighted precision and F1. We introduce AMLworld-Compact, …