enwik8
PulseAugur coverage of enwik8 — every cluster mentioning enwik8 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的 SV-Attention 为 AI 模型提供认证选择和精确遗忘功能
研究人员推出了一种新颖的 AI 模型记忆机制——支持向量注意力（SV-Attention），该机制利用了源自支持向量机的最大间隔方法。这种方法允许对 token 进行认证选择和精确遗忘，这意味着可以从模型的记忆中精确移除特定数据点，而不会影响其他输出。实验表明，与标准注意力机制相比，SV-Attention 在真实数据流上实现了更高的召回率和更好的性能，同时还展示了手术式遗忘和病人记录删除等能力。
-
新的受挫同步网络挑战Transformer性能
研究人员推出了一种新颖的注意力架构——受挫同步网络（FSN），其灵感来源于振荡器的同步。与传统的注意力机制不同，FSN的计算根植于结构化的分歧，利用复杂的耦合核和单步延迟。在字符级文本和代码上的实验表明，在相当的参数和训练预算下，FSN在验证损失方面优于经过调优的RoPE-SwiGLU Transformer，甚至在自然文本的长距离复制事件上表现优于已收敛的Transformer。
-
新型ELM网络模仿皮层神经元，改进序列建模
研究人员推出了一种新型循环神经网络架构——表达性泄漏记忆（ELM）网络，旨在更好地模仿皮层神经元的功能组成部分。与使用更简单单元的主流机器学习模型不同，该新模型允许独立调整单元数量、每个单元的复杂度和连接性。在SHD-Adding任务和Enwik8语言建模等序列基准测试上的实验表明，性能随着复杂性、宽度和连接性的增加而提高，并且开发了一个理论框架来解释这些扩展定律和权衡。
-
Transformer 中学习的令牌路由可适应计算深度以提高效率
研究人员为 Transformer 模型开发了一种名为令牌选择性注意力 (TSA) 的新技术，该技术允许模型动态调整每个令牌的计算深度。该方法使用轻量级的学习门来决定是否跳过 Transformer 块之间的残差更新，从而使整个过程可端到端微分，并且参数开销极小。TSA 在字符级语言建模任务上显著节省了令牌-层操作，减少了 14-23%，而质量损失不到 0.5%，并且在相似效率水平下，与早期退出方法相比，性能有所提高。
-
StateSMix 压缩器使用 Mamba SSM 和 N-gram 进行在线无损压缩
研究人员开发了 StateSMix，这是一种新颖的无损压缩算法，它利用 Mamba 风格的状态空间模型 (SSM) 结合稀疏 N-gram 上下文混合。该系统对正在压缩的数据进行逐个 token 的训练，无需预训练权重或 GPU。StateSMix 在 enwik8 基准测试上实现了具有竞争力的压缩率，比 xz (LZMA2) 高出 8.7%。该实现完全用 C 语言编写，可在标准硬件上处理大约每秒 2,000 个 token。