Huginn-3.5B
PulseAugur coverage of Huginn-3.5B — every cluster mentioning Huginn-3.5B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法控制AI模型动力学以提高测试时间性能
研究人员开发了一种控制AI模型循环动力学的方法，从而在测试时实现更可靠的性能。通过测量模型的动力学状态，他们可以预测额外的迭代是否会改进、保持或降低其答案。这项技术在算法任务上进行了演示，表明“收敛”算子可以提高在更难的、未见过的问题上的准确性。该研究还将这些测量应用于Huginn-3.5B模型，将其归类为非收敛家族。
-
新的点燃指数指标衡量语言模型中的全局工作空间动态
研究人员引入了点燃指数（I），这是一个旨在量化语言模型中全局工作空间动态的新指标。该标量指标通过分析输入信号强度响应的每层准确性转换，来操作化全局工作空间理论（GWT）的预测。在各种Transformer模型和SSM中，点燃指数在区分真正的语言结构和虚假的探测能力方面表现出9.6倍的选择性。研究结果表明，前馈Transformer的点燃指数通常高于SSM，而像Huginn-3.5B这样的循环架构沿其迭代轴与沿其深度轴相比，表现出不同的点燃模式。
-
新的LLA技术大幅缩减Transformer缓存大小，提升容量
研究人员开发了循环潜在注意力（LLA）技术，这是一种用于循环、权重绑定的Transformer的新型缓存压缩技术。LLA利用了跨递归步骤的键/值（K/V）缓存的结构化、低秩性质，存储紧凑的潜在向量而不是完整的K/V向量。该方法显著提高了批处理容量并减少了内存使用，使Ouro-1.4B等模型能够在单个H200 GPU上以4k上下文处理768个序列，压缩比达到21.3倍。LLA在与其他缓存压缩方法相比时表现出优越的性能，并在Huginn-…