Pedro Memoli Buffa

新方法利用解码熵监控LLM准确性

研究人员开发了一种名为Entropy Sentinel的方法，用于在部署过程中持续监控大型语言模型（LLM）的准确性。该技术分析了解码过程中下一个词元概率的熵，以估算切片级别的准确性，即使模型遇到领域偏移。一个轻量级分类器利用这些熵迹象来预测实例的正确性，通过平均这些预测，可以生成特定领域的总体准确性估算。这种方法在跟踪各种LLM和STEM推理任务的保留基准准确性方面显示出潜力，为监控和定向数据采集提供了可扩展的解决方案。