enwik8
PulseAugur coverage of enwik8 — every cluster mentioning enwik8 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型ELM网络模仿皮层神经元，改进序列建模
研究人员推出了一种新型循环神经网络架构——表达性泄漏记忆（ELM）网络，旨在更好地模仿皮层神经元的功能组成部分。与使用更简单单元的主流机器学习模型不同，该新模型允许独立调整单元数量、每个单元的复杂度和连接性。在SHD-Adding任务和Enwik8语言建模等序列基准测试上的实验表明，性能随着复杂性、宽度和连接性的增加而提高，并且开发了一个理论框架来解释这些扩展定律和权衡。
-
Transformer 中学习的令牌路由可适应计算深度以提高效率
研究人员为 Transformer 模型开发了一种名为令牌选择性注意力 (TSA) 的新技术，该技术允许模型动态调整每个令牌的计算深度。该方法使用轻量级的学习门来决定是否跳过 Transformer 块之间的残差更新，从而使整个过程可端到端微分，并且参数开销极小。TSA 在字符级语言建模任务上显著节省了令牌-层操作，减少了 14-23%，而质量损失不到 0.5%，并且在相似效率水平下，与早期退出方法相比，性能有所提高。
-
StateSMix compressor uses Mamba SSMs and n-grams for online lossless compression
Researchers have developed StateSMix, a novel lossless compression algorithm that utilizes Mamba-style State Space Models (SSMs) combined with sparse n-gram context mixing. This system trains token-by-token on the data …