Prior barrier

新的“先验障碍”概念旨在改进LLM在罕见概念上的微调

研究人员引入了一个名为“先验障碍”的新概念，用于量化预训练的大型语言模型（LLM）在监督微调（SFT）过程中对竞争概念的支持程度。他们观察到，这些先验障碍遵循长尾分布，意味着常见概念的障碍较低，而罕见概念需要更多的指令来克服更高的障碍。为了解决这个问题，他们开发了PASS，一种自适应SFT指令选择方法，该方法在有限预算内考虑哪些指令提供了有用的证据以及在何处需要额外的监督。实验表明，PASS在性能上始终优于七种最先进的指令选择方法。