Johnson–Lindenstrauss lemma
PulseAugur coverage of Johnson–Lindenstrauss lemma — every cluster mentioning Johnson–Lindenstrauss lemma across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
使用复数随机变量增强 TensorSketch 算法以提高性能
研究人员开发了一种 TensorSketch 的新变体，TensorSketch 是一种用于高效绘制高维多项式核的算法。通过利用复数随机变量，该改进版本实现了更低的方差，其缩放比例为 2^p/D，而之前为 3^p/D。新方法保留了原始 TensorSketch 算法的输入稀疏性运行时间优势，同时提供了增强的性能，这已通过在合成和真实数据集上的实验得到验证。
-
新方法训练用于科学模拟的隐式神经网络压缩器
研究人员开发了一种新颖的原位训练协议，用于隐式神经网络表示，专门针对科学模拟的神经网络压缩。该方法利用有限的完整和草图数据样本内存缓冲区来防止灾难性遗忘，并在理论上基于 Johnson-Lindenstrauss 引理。该方法已在各种条件下的复杂二维和三维模拟数据上进行了评估，在高速率压缩下表现出强大的重建性能，并实现了与离线方法相当的性能。
-
新研究解释了零阶优化为何能扩展到大型语言模型
两篇新论文探讨了用于微调大型语言模型（LLMs）的零阶（ZO）优化。第一篇论文引入了核视角，表明近似误差取决于输出大小而非参数维度，从而从理论上证明了ZO方法的可扩展性。第二篇论文研究了自适应ZO优化器，提出了MEAZO，一种内存效率高的方法，在减少内存开销的同时保持了性能。
-
新研究探讨了结构化Hadamard旋转在AI中的局限性
研究人员分析了在处理高维应用时，使用两块结构化Hadamard旋转作为计算成本高昂的均匀随机旋转的近似方法的有效性。虽然研究表明，两块变换的单个坐标可以近似均匀旋转，并具有特定的误差界限，但它也表明，完整的向量分布在全局上并不匹配。这项研究阐明了这些结构化旋转在AI压缩等领域取得经验成功背后的理论基础，同时也突出了它们的局限性。
-
AI研究人员探索神经网络复杂性与表征叠加态
近期一篇关于论文“On the Complexity of Neural Computation in Superposition”（叠加态下神经网络计算复杂度）的解读指出，神经网络比最初设想的要复杂得多。早期的理论认为单个神经元代表特定概念，但研究人员发现了“神经元多义性”，即一个神经元会为多个不相关概念放电。主要的解释是，神经网络利用高维空间和近乎正交的向量来高效地表征众多概念，这种现象被称为表征叠加态。