concept augmentation

大语言模型训练：词性对概念增强有效性的影响

一篇新的研究论文探讨了词语的词性（POS）如何影响大型语言模型（LLMs）训练后阶段的概念增强的有效性。研究发现，虽然概念增强通常能提高困惑度，尤其是在新闻数据上，但动词始终能带来最显著的下游性能提升。有趣的是，使用 CKA 和线性探针进行的表征分析表明，最大的下游改进并不总是与模型内部表征最显著的改变相关联，这表明概念信息的引入方式及其对大语言模型性能的影响之间存在复杂的关联。