新方法通过预测和移除冗余字节来压缩Transformer输入

研究人员开发了一种新颖的方法，通过利用自回归字节语言模型来压缩Transformer模型的输入序列。该方法识别并移除输入中易于预测的字节，从而在不牺牲翻译质量的情况下降低计算成本并缩短序列长度。该技术已在多种语言对（包括英语-法语、芬兰语-英语、俄语-英语和中文-英语）中证明了有效性，实现了0.47至0.67的压缩率，同时保持或提高了翻译性能。 AI

影响 降低了Transformer模型的计算成本并提高了效率，可能加速字节级分词器的采用。

排序理由 该集群包含一篇详细介绍压缩Transformer输入新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• Autoregressive byte language model
• Byte-level tokenization
• Chinese- English Parallel Texts for International Exhibition Publicity:a Comparison of Rhetoric and Translation Modes
• English--French
• Finnish--English
• machine translation
• Russian--English
• Transformer++

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →