PulseAugur
中
实时 06:45:32
English(EN) Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

新方法改进了语言模型词汇扩展在推荐任务中的应用

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现，在为生成式推荐等领域特定任务扩展语言模型（LM）词汇时存在一个显著瓶颈。使用现有嵌入的平均值初始化新词元（token）的标准方法会导致区分度崩溃，而微调难以恢复。一种名为“接地初始化”（GTI）的新方法提出，在微调之前将新词元映射到预训练嵌入空间中具有语义意义的独特位置。与平均初始化和其他适应方法相比，这个轻量级的接地阶段在多个生成式推荐基准测试中表现出更优越的性能，表明初始化质量对于有效的词汇扩展至关重要。 AI

影响 这项研究通过改进新概念的整合方式，有望在特定领域的语言模型（尤其是在推荐系统中）方面取得更有效的成果。

排序理由 学术论文，详细介绍了一种用于语言模型词汇扩展的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法改进了语言模型词汇扩展在推荐任务中的应用

本文如何被排名

Signal score
27 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
学术论文，详细介绍了一种用于语言模型词汇扩展的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Daiwei Chen, Zhoutong Fu, Chengming Jiang, Haichao Zhang, Ran Zhou, Tan Wang, Chunnan Yao, Guoyao Li, Rui Cai, Yihan Cao, Ruijie Jiang, Fedor Borisyuk, Jianqiang Shen, Jingwei Wu, Ramya Korlakai Vinayak ·

    面向生成式推荐的语言模型中新词汇的地面化 Token 初始化

    arXiv:2604.02324v2 Announce Type: replace-cross Abstract: Language models (LMs) are increasingly extended with new learnable vocabulary tokens for domain-specific tasks, such as Semantic-ID tokens in generative recommendation. The standard practice initializes these new tokens as…

相关实体

相关话题