Anas Barakat el Baz

LLM 研究揭示提示干扰会降低单次运行性能

一篇新的研究论文探讨了大型语言模型中的“提示干扰”现象，即针对 pass@k 指标的优化可能会无意中降低 pass@1 指标的性能。这是因为共享的模型参数连接着不同的提示，导致一些提示的改进会对其他提示产生负面影响。该研究为这种权衡提供了理论解释，表明 pass@k 优化可以通过隐式地重新加权成功率较低的提示，从而将模型的更新方向从 pass@1 转移开。