byte-level attention

研究发现：字节级语言模型受层级设计限制

一篇题为“推翻字节级语言模型的层级结构”的新研究论文，对当前字节级语言模型中层级结构的有效性提出了质疑。研究发现，这些模型为了效率而先降采样到词级别，然后再升采样回字节级别，实际上限制了对细粒度字符的理解。纯粹的字节级模型，没有这种层级结构，在字符操作任务上表现出更优越的性能。研究指出，字节级注意力是导致这种改进的字符级理解能力的关键机制，表明计算效率与详细字符理解之间存在权衡。