新的HG-CRC框架增强了LLM在子群体中的风险控制

研究人员开发了一个名为分层组条件共形风险控制（HG-CRC）的新框架，以提高大型语言模型的可靠性。该方法确保风险保证不仅在整体上得到满足，而且在模型用户群体的特定子群体中也得到满足，解决了边际保证可能掩盖群体过度暴露于错误的问题。HG-CRC通过应用分层结构和Bonferroni校正来实现这一点，仅需要一个独立的校准集而无需重新训练模型。在Qwen3-4B和Llama 3.1 8B-Instruct等模型上的评估表明，在ARC Challenge等基准测试中的违规率显著降低，尽管在不同数据集和模型校准上的性能有所不同。 AI

影响 通过确保跨不同用户子群体的风险保证来提高LLM的可靠性，从而可能增加在敏感应用中的信任度和采用率。

排序理由 介绍语言模型风险控制新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• ARC challenge
• Bonferroni
• Conformal risk control
• Gemma 3-4B
• HG-CRC
• Hugging Face
• Llama 3.1 8B-Instruct
• MMLU-Pro
• Qwen3-4B

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →