实体
tokenization
tokenization
PulseAugur coverage of tokenization — every cluster mentioning tokenization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
计算机通过分词处理单词，而非类人阅读
计算机不像人类那样阅读单词，而是依赖分词。这个过程将文本分解成更小的单元，这可能导致误解或错误，例如误解像“草莓”这样的单词拼写。文章认为，这类语言处理问题根源在于分词，而非 LLM 的内在能力。
-
新研究探索用于AI模型的先进压缩技术
研究人员正在探索压缩大型模型和数据集以提高效率的新颖方法。论文讨论了数据集剪枝和蒸馏的统一、图像生成的自举标记化以及用于LLM和VLM的激活感知低秩压缩。其他工作侧重于通用三潜在序列模型、不完美压缩下的预测的理论方面，以及LLM压缩的架构和量化选择的联合优化。
-
论文揭示了用于 Transformer 的图标记化的权衡及其对模型表达能力的影响
一篇新论文探讨了图标记化在将 Transformer 应用于图学习任务中的关键作用。研究人员证明，将图结构转换为标记的方法会显著影响 Transformer 的表达能力以及计算所需的深度。研究表明，某些标记化方法（如随机游走）本质上是有损的，而另一些方法（如谱标记化）可能不适合特定任务。研究结果表明，结合互补的标记化策略可以增强 Transformer 利用多样化结构信号的能力，从而提高性能。