Grounded Token Initialization

新方法改进了语言模型词汇扩展在推荐任务中的应用

研究人员发现，在为生成式推荐等领域特定任务扩展语言模型（LM）词汇时存在一个显著瓶颈。使用现有嵌入的平均值初始化新词元（token）的标准方法会导致区分度崩溃，而微调难以恢复。一种名为“接地初始化”（GTI）的新方法提出，在微调之前将新词元映射到预训练嵌入空间中具有语义意义的独特位置。与平均初始化和其他适应方法相比，这个轻量级的接地阶段在多个生成式推荐基准测试中表现出更优越的性能，表明初始化质量对于有效的词汇扩展至关重要。