EAP-IG

新的大型语言模型（LLM）电路发现方法解决了方差问题

一篇新发表在arXiv上的研究论文探讨了大型语言模型（LLM）电路发现方法中的可变性。研究确定了三种主要的方差来源：重采样、改写和样本级方差。作者引入了CEAP，一种通过减少重采样方差来改进现有EAP-IG技术的新方法。他们还认为，改写方差表明，由于提示可以以多种方式激活不同的内部电路，因此大型语言模型（LLM）可能本质上难以控制。他们认为，样本级方差在很大程度上是良性的，与不忠诚的定义有关，而不是电路缺陷。