LI-Small

新方法使用下采样将LLM评估成本降低611倍

研究人员开发了AMLworld-Compact，这是一个新的评估集，旨在显著降低在AMLworld等复杂基于图的数据集上评估大型语言模型（LLM）的成本和时间。该方法采用一种名为HT-Coreset协议的重要性加权下采样技术，将评估目标的数量减少多达611倍，同时仍能提供精确度和F1分数等关键指标的无偏估计。该方法旨在使LLM评估更高效、更易于访问，特别是在大规模金融图数据方面，从而能够进行更有效的错误诊断和模型比较。