实体
X-Token
X-Token
PulseAugur coverage of X-Token — every cluster mentioning X-Token across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA 的 X-Token 支持 AI 模型的跨分词器知识蒸馏
NVIDIA 研究人员开发了 X-Token，一种新颖的知识蒸馏方法，允许小型 AI 模型从大型、不兼容的教师模型中学习。与以往在处理不同分词器时遇到困难的方法不同，X-Token 使用动态规划进行跨度对齐，并使用投影矩阵映射分词器分布。该方法克服了现有技术（如 GOLD）在处理碎片化文本和保留对齐信号方面的局限性，从而提高了在 GSM8k 等任务上的性能。
-
X-Token 方法增强了不匹配分词器的知识蒸馏
研究人员开发了 X-Token，一种新颖的知识蒸馏技术，旨在通过学习具有不同分词器的教师模型来改进学生模型。该方法解决了现有基于 Logit 的蒸馏的局限性，例如不常见分词失败和过于保守的匹配，这可能抑制关键分词或排除近乎相等的分词。X-Token 利用稀疏投影矩阵来对齐学生和教师的分布，在 GSM8k 等基准测试中表现优于当前最先进的方法，并在多教师设置中取得了显著的收益。