实体
ByT5
ByT5
PulseAugur coverage of ByT5 — every cluster mentioning ByT5 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
论文分析数据表示如何影响Transformer上下文
一篇新论文分析了数据（如字节、字符或子词标记）的不同表示如何影响Transformer模型的性能。该研究引入了“分片”的概念，解释了为什么即使有更大的上下文窗口，更小的单元也会降低预测准确性。相反，该研究表明分词如何有效地扩展感知到的上下文窗口，为理解Transformer中的表示选择提供了一个框架。
-
新研究为塔吉克-波斯语机器音译模型建立基准
本文介绍了塔吉克语和波斯语之间机器音译的新基准，并从不同来源开发了一个独特的平行语料库。该研究比较了六种模型架构，包括基于规则的系统、LSTM、Transformer 和预训练的多语言模型。结果表明，对于这种语言对，字节级和字符级模型（尤其是 ByT5）的性能明显优于 mT5 等基于子词的模型。