Weighted Ensemble (WE)

新的加权集成方法改进了LLM中罕见事件的估计

研究人员开发了加权集成（WE）方法，这是一个新的无训练框架，旨在更有效地估计大型语言模型中罕见但严重的故障的概率。与传统的蒙特卡洛采样或需要辅助提议分布的方法不同，WE直接从语言模型本身进行采样。它利用内部LLM表示作为信号，动态地将其采样预算重新分配给更有可能达到目标罕见事件的前缀。在小型和大型语言模型上进行的与安全相关的任务的实验表明，WE提高了估计这些关键故障概率的效率和可靠性。