central limit theorem
PulseAugur coverage of central limit theorem — every cluster mentioning central limit theorem across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
弱大数定律与中心极限定理详解
本文探讨了弱大数定律（WLLN）和中心极限定理（CLT）之间的区别和联系。这两个统计学原理都涉及样本量增大时的行为，但它们回答的是关于概率分布的根本不同的问题。
-
新理论将大型语言模型深度扩展与注意力机制的非线性联系起来
一篇新论文探讨了大型语言模型的扩展定律，提出注意力机制中的非线性是损失的逆深度衰减的关键。这种非线性允许模型选择性地关注相关标记，从而能够并行学习强谱方向和弱谱方向。研究表明，这种选择性关注可能与中心极限定理有关，有助于随着模型深度的增加而持续提高性能。
-
新的交叉拟合方法改进了机器学习模型的统计推断
一种名为交叉拟合的新统计方法已被开发出来，以解决模型推断中的非正则性问题。该方法仍然遵循中心极限定理，但需要调整其渐近方差以考虑交叉折叠相关性。所提出的置信区间旨在估计这种相关性，目标是实现渐近名义覆盖率，并在随机森林和神经网络的模拟中显示出有希望的结果。
-
新的均匀相位初始化提升神经网络性能
研究人员开发了一种新颖的深度神经网络权重初始化技术，称为均匀相位初始化，专门为正弦激活函数设计。该方法利用正弦函数的周期对称性来完全解耦网络层，并避免了传统基于中心极限定理的方法固有的分布近似误差。使用这种新初始化方法训练的模型在图像和音频拟合等神经表示任务上表现出卓越的性能，优于最先进的基线，并支持微P宽度缩放。
-
新论文详述了随机逼近的渐近中心极限定理
一篇新发表在arXiv上的论文介绍了一种用于线性双时间尺度随机逼近算法的非渐近 Wasserstein-1 中心极限定理 (CLT)。该研究解决了理解机器学习应用中有限时间误差率的需求，改进了现有侧重于渐近收敛或次优有限时间界限的分析。推导出的 CLT 表明，Polyak-Ruppert 平均可以实现 $1/\sqrt{K}$ 的期望误差衰减率，相比之前的发现有了显著的改进。
-
新的谱嵌入为网络数据分析提供统一理解
研究人员开发了一种用于网络数据的度归一化谱嵌入的连续体，其中包含诸如邻接矩阵和对称拉普拉斯算子之类的常见表示。他们使用随机点积图模型，为这一嵌入族建立了逐行中心极限定理。该定理详细说明了度归一化如何影响嵌入数据的整体结构和单个节点的.不确定性。该研究进一步分析了双社区随机块模型中的这些归一化，揭示了最佳选择取决于网络密度、社区不平衡和块概率结构等因素，在更稀疏或更不平衡的网络中，更强的归一化通常是有益的。
-
新研究探讨贝叶斯滤波的Transformer模型及其不确定性分解
两篇新的arXiv论文探讨了贝叶斯滤波的Transformer模型（BFTs），这是一种旨在近似贝叶斯后验预测分布的Transformer模型。第一篇论文介绍了预测性蒙特卡洛（PMC）作为一种解释BFTs内化的先验和后验信念的工具，并将其应用于风格化的任务族。第二篇论文利用贝叶斯预测推理和预测中心极限定理来分离偶然不确定性和认知不确定性，解决了如何分解BFTs（特别是像TabPFN这样的模型）中的不确定性问题。
-
新“prolepsis”现象在小型 Transformer 模型中被识别
研究人员在小型 Transformer 模型中识别出一种称为“prolepsis”的现象，即模型在处理早期就做出决定，且无法纠正。这种承诺由特定任务的注意力头维持，并且不易被标准的残差流方法检测到，尽管基于 CLT 的引导显示出一些成功。研究发现，这种 prolepsis 模式出现在 Gemma 2-2B 和 Llama 3.2 1B 等仅解码器模型中的不同任务上，表明存在一个共享的潜在机制。
-
新的3D模型解决了磁感应网络中的快速衰落信道问题
研究人员开发了一种新颖的车辆磁感应（VMI）通信三维模型，解决了由天线振动引起的快速衰落信道现象。该模型基于电磁场理论，不同于传统的无线衰落模型，并表明快速衰落可能导致更均匀分布的信道系数。该研究还提出了一种利用非合作博弈和多智能体Q学习方法的功率控制算法，以提高网络吞吐量，并通过仿真验证了模型和算法。
-
新的蒙特卡洛算法降低了随机梯度方法的方差
研究人员开发了用于随机梯度广义不可逆Langevin蒙特卡洛算法的新方差缩减技术。这些方法旨在提高广义不可逆Langevin动力学估计器的准确性，特别是在步长趋于零的情况下。在贝叶斯回归任务上的数值实验表明，与可逆方案相比，提出的不可逆方案持续降低了均方根误差。
-
新框架使用双目标优化训练可解释的AI模型
本文介绍了可解释性引导的双目标优化（IGBO）框架，这是一个旨在训练既准确又可解释的模型的新框架。IGBO通过使用双目标公式整合结构化领域知识，并将特征重要性层次结构编码到有向无环图（DAG）中。该框架利用时间集成梯度（TIG）来衡量特征重要性，并提出了一种新颖的相对重要性得分来量化随时间变化的特征归因。
-
数学家探索中心极限定理的三种不同证明方法
本文通过三种不同的证明方法探讨中心极限定理：傅里叶分析、组合替换和函数恒等式。每种方法都阐明了该定理为何始终导致高斯分布的不同方面。
-
新界限改进线性系统辨识的参数误差估计
研究人员发现当前最先进的线性系统辨识界限存在差异，表明它们可能将参数误差夸大了与系统状态维度相关的因子。他们提出了一种新颖的二阶分解来锐化这些界限，引入了一个精确反映中心极限定理缩放的矩阵值鞅。这项工作为稳定和多轨迹设置产生了改进的有限样本界限，与最优速率非常接近。