实体
Marchenko--Pastur law
Marchenko--Pastur law
PulseAugur coverage of Marchenko--Pastur law — every cluster mentioning Marchenko--Pastur law across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法测量高维数据中的模式分离
研究人员开发了一种新方法来测量和分解高维数据分布中的模式分离。这种称为正则扩散（Canonical Diffusion）的技术，利用密度固有的随机过程来量化分布分裂成簇的锐度。该方法提取两个读数：用于障碍敏感测量的 SSA（自相关平方和）和用于亚稳态排序的 DA（主导自相关方向）。该框架可应用于合成数据、文本到图像生成（如 SDXL）以及分子动力学模拟，并利用预训练的基于分数的生成模型。
-
Transformer架构在深度上的秩保持性分析 · 跟踪2个来源
一篇新的研究论文探讨了Transformer前馈块的架构如何影响网络深度初始化过程中秩的保持。该研究重新解释了跳跃连接和归一化层，不仅作为幅度控制器，而且作为维持梯度秩的机制。它表明，跳跃连接有助于将梯度绕过减秩组件，而归一化层的放置则管理着秩崩溃和类似集成行为之间的权衡。该论文还详细介绍了Transformer内部的双矩阵结构，结合宽度扩展和激活函数，如何保持表示和雅可比矩阵的秩，其中宽度遵循Marchenko-Pastur定律。输…