UnigramLM
PulseAugur coverage of UnigramLM — every cluster mentioning UnigramLM across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究解构语言模型的分词算法
研究人员引入了两种新的分词算法，BottomUpLL 和 TopDownComp，以解构语言模型分词器中优化目标和搜索程序的影响。通过创建一个 2x2 的设计空间，他们比较了自下而上和自上而下的方法与压缩和对数似然目标。他们的发现表明，搜索程序而不是目标是性能的主要驱动因素，自下而上的分词器通常能实现更低的每字节比特数。然而，在 BLiMP 任务上，设计选择与性能之间没有发现一致的关系。
-
新的UniLID方法使用UnigramLM进行高效语言识别
研究人员开发了UniLID，一种利用UnigramLM分词算法的新型语言识别方法。该方法效率高，所需数据和计算量极少，并且支持在不完全重新训练的情况下添加新语言。UniLID可以无缝集成到现有的语言模型分词流程中，并在与fastText和GlotLID-M等成熟基线相比时，展现出具有竞争力的性能，尤其在细粒度方言识别方面表现出色。
-
分词被证明是NP完全和APX难的，即使对于二元字母表
一篇新的研究论文表明，分词（自然语言处理中的一个基本过程）即使在有界字母表上也是计算上不可行的。该研究证明，无论是自顶向下还是直接分词方法，即使仅限于二元字母表，都是NP完全和APX难的。这些发现表明，分词的固有难度并非源于复杂的构造或大的字母表，而是一个基本障碍，解释了BPE和UnigramLM等当前算法的启发式性质，并强调了未来研究中对近似算法的需求。
-
新的分词器方法改进了大型语言模型中跨语言同形异义词的处理
研究人员发现多语言语言模型存在一个局限性，即共享的子词词汇表可能导致相同的表面形式在不同语言中被过于统一地对待，即使它们的含义不同。他们提出了一种使用语言线索的分词器级别的干预方法，以改进对跨语言同形异义词和假朋友的处理。该方法包括在构建词汇表时，用特定语言的字符替换共享词汇单词的初始字符。虽然内在分析表明这种干预有助于 SaGe 分词器更强地发散，但下游机器翻译实验仅取得了适度的改进，特别是对于 BPE，但并非在所有语言中都一致。
-
LangMAP分词在不改变词汇表的情况下适应多语言模型
研究人员开发了LangMAP，一种新颖的语言自适应分词方法，将UnigramLM算法扩展到多语言环境。该方法允许从单一共享词汇表中进行特定语言的分词，从而在不改变词汇表的情况下适应预训练模型。LangMAP在编程语言的形态边界和抽象语法树叶子边界上表现出更好的对齐，尽管其在知识相关任务上的益处喜忧参半。
-
新的ToaST分词器将词元数量减少了11%以上
研究人员开发了一种名为基于分裂树的分词（ToaST）的新子词分词方法。该方法通过将文本递归地分裂成二叉树并基于整数规划松弛选择词汇来优化压缩。与BPE和WordPiece等现有方法相比，ToaST在词元数量上减少了11%，并在训练1.5B参数语言模型方面取得了更好的性能。