研究人员开发了 DeepMem，这是一种新颖的因果多尺度字节级架构，旨在实现语言模型中高效的序列压缩和推理。该架构利用可逆子带变换和快速权重记忆来压缩序列，同时通过无损载波和基于注意力机制的超分辨率解码来保留精确的字节身份。与标准的字节级 Transformer 相比，DeepMem 在 FineWeb-Edu 和 PG19 等基准测试中表现更优，在 FLORES 语言上取得了最佳结果，并在 PIQA 准确性方面有所提高，在代码建模和推理任务中也表现出竞争力。 AI
影响 引入了一种用于更高效的字节级语言建模的新架构，有可能提高各种自然语言处理任务的性能。
排序理由 该集群描述了一篇关于新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- DeepMemory: Model-based Memorization Analysis of Deep Neural Language Models
- FineWeb-Edu
- Flores+
- PG19
- transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
