实体
Ouro-1.4B
Ouro-1.4B
PulseAugur coverage of Ouro-1.4B — every cluster mentioning Ouro-1.4B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究人员探索自适应深度和循环折叠以优化 Transformer
两篇新研究论文探索了通过动态调整深度来优化 Transformer 模型的新方法。第一篇论文《Looped Transformers 中的自适应深度》研究了学习到的停止门和轨迹读出，发现固定的先验深度监督可以带来更好的性能和实际的推理时间节省。第二篇论文《Mobius Learning: Transformers 中的循环深度折叠》介绍了一种训练架构，其中不同的数据流遵循循环移位的块顺序，允许块同时针对浅层和深层角色进行优化，并在内存…
-
新的LLA技术大幅缩减Transformer缓存大小，提升容量
研究人员开发了循环潜在注意力（LLA）技术，这是一种用于循环、权重绑定的Transformer的新型缓存压缩技术。LLA利用了跨递归步骤的键/值（K/V）缓存的结构化、低秩性质，存储紧凑的潜在向量而不是完整的K/V向量。该方法显著提高了批处理容量并减少了内存使用，使Ouro-1.4B等模型能够在单个H200 GPU上以4k上下文处理768个序列，压缩比达到21.3倍。LLA在与其他缓存压缩方法相比时表现出优越的性能，并在Huginn-…