研究人员开发了加权集成(WE)方法,这是一个新的无训练框架,旨在更有效地估计大型语言模型中罕见但严重的故障的概率。与传统的蒙特卡洛采样或需要辅助提议分布的方法不同,WE直接从语言模型本身进行采样。它利用内部LLM表示作为信号,动态地将其采样预算重新分配给更有可能达到目标罕见事件的前缀。在小型和大型语言模型上进行的与安全相关的任务的实验表明,WE提高了估计这些关键故障概率的效率和可靠性。 AI
影响 增强了识别和减轻已部署语言模型中关键故障模式的能力。
排序理由 该集群包含一篇详细介绍语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- language models
- Monte Carlo
- ScienceCast
- Weighted Ensemble (WE)
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →