Ouro-1.4B
PulseAugur coverage of Ouro-1.4B — every cluster mentioning Ouro-1.4B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Ouro Looped Language Models Show Improved Retrieval Accuracy
研究人员调查了预训练的 Ouro 循环语言模型(特别是 Ouro-1.4B 和 Ouro-2.6B)中的后期循环如何纠正双跳检索错误。通过在循环之间移植注意力查询,他们发现将循环 3 的查询注入循环 1 可显著提高合成问题的准确性。研究还观察到,这些查询交换更倾向于通过桥接实体进行检索,而不是简单地复制答案,尽管这种效果在 Ouro-2.6B 中更为明显。虽然这些发现表明一套可转移的后期循环查询有助于在合成场景中进行检索,但桥接的精确…
-
新研究表明,协议而非归一化可实现循环语言模型中深度的可重用性
一项新的研究论文提出,循环语言模型中深度的可重用性依赖于训练和推理循环之间的一致性,而不是步骤之间的状态归一化。在已发布的 Ouro 模型和新训练的小型模型上进行的实验表明,即使状态范数保持稳定,移除归一化也可能导致准确性显著下降。在移除归一化后重新调整模型的头部或最后一个块层可以恢复大部分丢失的准确性,这表明一致性是深度可重用的关键因素。
-
新研究揭示探查大型语言模型潜在推理的挑战
一篇新研究论文探讨了探查大型语言模型潜在推理的挑战,特别关注信息在模型内的表示和访问方式。该研究使用最小对提示来测试 Ouro-1.4B 和 Qwen 2.5-1.5B 模型,结果表明,尽管某些值(如复制的数字)存在于模型的状态中,但探针难以读取。研究还发现,即使某个值是可读的,模型也可能不会将其用于后续的推理步骤。
-
微小 LoRA 修复 Transformer 模型过早停止推理问题
一篇新研究论文介绍了一种改进 Transformer 模型推理能力的方法,解决了它们过早停止处理信息的问题。研究人员开发了一种微小的、经过任务训练的 LoRA(低秩适配),将其应用于冻结的 Transformer 模型的一个早期层,可以显著延长其遵循长链引用的能力。该技术极大地提高了需要多行推理的任务的准确性,一些模型在 24 行或更多行的推理链上的准确性从低百分比提高到接近完美。研究还发现,LoRA 的放置至关重要,如果将其应用于模…
-
研究人员探索自适应深度和循环折叠以优化 Transformer
两篇新研究论文探索了通过动态调整深度来优化 Transformer 模型的新方法。第一篇论文《Looped Transformers 中的自适应深度》研究了学习到的停止门和轨迹读出,发现固定的先验深度监督可以带来更好的性能和实际的推理时间节省。第二篇论文《Mobius Learning: Transformers 中的循环深度折叠》介绍了一种训练架构,其中不同的数据流遵循循环移位的块顺序,允许块同时针对浅层和深层角色进行优化,并在内存…
-
新的LLA技术大幅缩减Transformer缓存大小,提升容量
研究人员开发了循环潜在注意力(LLA)技术,这是一种用于循环、权重绑定的Transformer的新型缓存压缩技术。LLA利用了跨递归步骤的键/值(K/V)缓存的结构化、低秩性质,存储紧凑的潜在向量而不是完整的K/V向量。该方法显著提高了批处理容量并减少了内存使用,使Ouro-1.4B等模型能够在单个H200 GPU上以4k上下文处理768个序列,压缩比达到21.3倍。LLA在与其他缓存压缩方法相比时表现出优越的性能,并在Huginn-…