PulseAugur
中
实时 07:43:12
English(EN) Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM

新方法利用解码熵监控LLM准确性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为Entropy Sentinel的方法，用于在部署过程中持续监控大型语言模型（LLM）的准确性。该技术分析了解码过程中下一个词元概率的熵，以估算切片级别的准确性，即使模型遇到领域偏移。一个轻量级分类器利用这些熵迹象来预测实例的正确性，通过平均这些预测，可以生成特定领域的总体准确性估算。这种方法在跟踪各种LLM和STEM推理任务的保留基准准确性方面显示出潜力，为监控和定向数据采集提供了可扩展的解决方案。 AI

影响 为持续LLM准确性监控和定向数据采集提供了一种新颖的、推理时信号。

排序理由 这是一篇详细介绍LLM准确性监控新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法利用解码熵监控LLM准确性

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Pedro Memoli Buffa, Luciano Del Corro ·

    熵哨兵：从 STEM 解码熵痕迹实现 LLM 连续准确性监控

    arXiv:2601.09001v4 Announce Type: replace Abstract: Deploying LLMs raises two coupled challenges: (1) monitoring--estimating where a model underperforms as traffic and domains drift--and (2) improvement--prioritizing data acquisition to close the largest performance gaps. We test…

相关实体

相关话题