研究人员开发了一个名为POOL(Propagated Uncertainty Over Lookalikes,在相似查询上进行不确定性传播)的新框架,以提高黑盒大型语言模型置信度估计的效率。该方法对相似查询进行聚类,在代表性样本上评估基础估计器,然后将置信度分数传播给相关查询,并选择性地评估高分歧情况。该框架的一个实例Hy@5结合了口头置信度和光谱答案多样性,实现了比现有方法更高的准确性,同时显著减少了所需的样本数量,尤其适用于具有高语义冗余的工作负载。 AI
影响 该框架通过降低置信度估计的计算成本,可能导致LLM更高效的部署。
排序理由 该集群包含一篇学术论文,详细介绍了改进LLM置信度估计的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →