power iteration
PulseAugur coverage of power iteration — every cluster mentioning power iteration across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的神经算法近似非线性系统模式
研究人员开发了一种新的数据驱动算法，使用神经网络来近似非线性动力系统的主要模式。该方法利用功率迭代方案直接学习这些模式，避免了复杂函数模板相关的维度灾难。该方法完全是数据驱动的，只需要采样状态转移，并提供理论收敛保证。数值实验表明，它能够实现准确平滑的近似，性能优于扩展动态模式分解等传统技术。
-
带层归一化的循环 Transformer 可证明地学习幂法
研究人员从理论上证明了带层归一化的循环 Transformer 如何学习用于主成分预测的幂法。该研究证明，此类模型在梯度下降训练时，会收敛到一个有效执行幂迭代的解决方案，其中每个注意力层执行一次迭代。这项工作突显了一种“算法隐式偏差”，即模型选择幂法来实现主成分预测，并显示与没有层归一化的 Transformer 相比，存在可证明的性能差距。
-
研究发现Transformer层与幂法具有类比性
一篇新的研究论文提出，Transformer层内的操作与数值线性代数中的幂法之间存在类比。该论文证明，通过Transformer层处理的token倾向于与从该层权重派生出的特定矩阵的主特征向量对齐。这种对齐在权重共享的Transformer中尤为明显，并提出了一种指导模型输出的方法。
-
PCA生产中的陷阱：Power Iteration失效，推荐使用numpy.linalg.eigh
本文解释了为什么在生产环境中实现主成分分析（PCA）时，通常作为从头开始实现的首选方法的Power Iteration（幂迭代）可能会导致不准确的结果。虽然在理论上直观，但Power Iteration与 deflation（降维）结合会放大浮点噪声，产生错误的特征向量而不会报错。作者提倡使用numpy.linalg.eigh作为在PCA中计算特征值和特征向量的更健壮、更可靠的替代方案。