实体
Johnson–Lindenstrauss lemma
Johnson–Lindenstrauss lemma
PulseAugur coverage of Johnson–Lindenstrauss lemma — every cluster mentioning Johnson–Lindenstrauss lemma across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新研究解释了零阶优化为何能扩展到大型语言模型
两篇新论文探讨了用于微调大型语言模型（LLMs）的零阶（ZO）优化。第一篇论文引入了核视角，表明近似误差取决于输出大小而非参数维度，从而从理论上证明了ZO方法的可扩展性。第二篇论文研究了自适应ZO优化器，提出了MEAZO，一种内存效率高的方法，在减少内存开销的同时保持了性能。
-
新研究探讨了结构化Hadamard旋转在AI中的局限性
研究人员分析了在处理高维应用时，使用两块结构化Hadamard旋转作为计算成本高昂的均匀随机旋转的近似方法的有效性。虽然研究表明，两块变换的单个坐标可以近似均匀旋转，并具有特定的误差界限，但它也表明，完整的向量分布在全局上并不匹配。这项研究阐明了这些结构化旋转在AI压缩等领域取得经验成功背后的理论基础，同时也突出了它们的局限性。
-
AI研究人员探索神经网络复杂性与表征叠加态
近期一篇关于论文“On the Complexity of Neural Computation in Superposition”（叠加态下神经网络计算复杂度）的解读指出，神经网络比最初设想的要复杂得多。早期的理论认为单个神经元代表特定概念，但研究人员发现了“神经元多义性”，即一个神经元会为多个不相关概念放电。主要的解释是，神经网络利用高维空间和近乎正交的向量来高效地表征众多概念，这种现象被称为表征叠加态。