Subset simulation

新的SCARCE方法改进了AI系统中的稀有事件分析

研究人员推出了一种新颖的方法SCARCE（Scalable Cascade Analysis for Rare-event Characterisation via Embeddings），用于估算AI系统中稀有事件的概率。SCARCE用学习到的潜在表示和几何标尺取代了传统的性能函数，实现了更准确高效的分析。该方法在MNIST错误分类任务上显著降低了估算误差，并在分析Llama-Guard-3-8B隐藏状态上的LLM越狱方面显示出潜力。