实体
Su et al.
Su et al.
PulseAugur coverage of Su et al. — every cluster mentioning Su et al. across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Mamba-3 架构解决了逻辑失败和 KV 缓存问题
Mamba-3 架构已推出，其特点是数据依赖的旋转位置嵌入 (data-RoPE) 和其他先进技术，以解决序列建模中的局限性。据报道，这种新架构在形式逻辑任务上达到了完美的准确率，相比之前的线性模型有了显著改进，并消除了困扰 Transformer 模型的 KV 缓存内存开销。Mamba-3 在处理长上下文窗口方面也表现出优于 Transformer 基线模型的性能，这对于新兴的代理 AI 工作流至关重要。
-
AI模型或将用仅加法硬件取代矩阵乘法
研究人员正在探索将AI模型中的传统矩阵乘法转变为简单的仅加法运算，旨在克服内存带宽瓶颈。这种方法通过使用极低比特的权重表示，例如三元或1比特值，可以使庞大的万亿参数模型在消费级CPU上高效运行。虽然当前的训练后量化等方法可以实现压缩，但可能会降低准确性。未来在于原生训练这些低比特架构，尽管仍需解决处理激活值异常和防止表示崩溃等挑战。