实体
Lightning Attention
Lightning Attention
PulseAugur coverage of Lightning Attention — every cluster mentioning Lightning Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
蚂蚁集团发布 Ling-3.0-Flash，一款拥有1240亿参数的混合AI模型
蚂蚁集团的AI部门发布了Ling-3.0-Flash，这是一款拥有1240亿参数的新型混合推理模型，每次计算激活51亿参数。该模型旨在基础推理、指令遵循和长文本处理等领域匹配或超越其规模两到三倍的模型的性能，提供卓越的“智能效率比”。其设计的关键在于重新设计的计算架构，该架构采用了混合注意力机制和升级的KDA（Kimi Delta Attention）以改进长上下文处理能力。该模型已针对AI代理应用进行了优化，增强了自我纠正和规划能力…
-
神经网络训练对称性通过MSE损失产生守恒量
研究人员调查了训练数据中固有的对称性是否会在梯度流训练神经网络期间产生守恒量。他们的发现表明，对于解析和非多项式损失函数，数据对称性通常不会引入额外的运动积分。然而，在使用均方误差损失时，特定的数据增强技术可能导致守恒量的出现。该研究引入了一个使用“可张量化网络”的框架来模拟这种现象，该框架包括线性、多项式网络和Lightning Attention等架构。