Markov chain
PulseAugur coverage of Markov chain — every cluster mentioning Markov chain across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的巴拿赫空间理论用于AI中的马尔可夫式哈尔彭迭代
研究人员开发了一个新的理论框架，用于逼近非扩张算子的不动点，特别是在数据源自连续马尔可夫轨迹时。他们新颖的方差缩减马尔可夫PAGE-Halpern方法在希尔伯特空间中实现了O(epsilon^-3)的样本复杂度，并将其扩展到一般的有限维巴拿赫空间，同时还建立了高概率保证。
-
新的因果抽象框架增强了人工智能研究中的可迁移性
研究人员开发了一个新的因果推断泛化可迁移性框架，超越了单一查询分析，转向模型层面。该方法以因果抽象理论为基础，描述了单个映射如何在干预行为中对源和目标人群进行对齐，适用于马尔可夫和半马尔可夫设置。该框架还为近似可迁移性提供了认证查询区间，将抽象误差重新定义为定量度量，并推导出不可迁移查询或目标无关设置的界限。
-
分析了用于马尔可夫链的新统计核
研究人员开发了新的理论工具来分析源自平稳马尔可夫链的滑动窗口计数核的统计特性。该研究为这些核建立了谱隙界和Poincaré不等式，证明了谱隙与窗口长度（$n$）成反比。这项工作对理解有限窗口计数统计中的方差界和经验平均值的算子范数集中具有启示意义。
-
新研究提供更快的马尔可夫链收敛方法
两篇新研究论文提出了加速马尔可夫链收敛的新方法。第一篇论文引入了一个称为“渐近等价于目标”的标准，提供了一条无需依赖不可约性或非周期性等传统概念即可直接证明收敛的途径。第二篇论文提出了一个称为“延迟接受正则化和退火”（DART）的框架，该框架通过利用目标密度的几何信息而不直接计算梯度来实现马尔可夫链更快的混合时间。
-
高斯扰动可防止循环GNN中的过平滑
研究人员开发了一种使用持久高斯扰动来对抗循环图神经网络（GNN）中过平滑的新颖方法。该技术在每次传播步骤后注入独立的斯诺伊噪声，将GNN转变为随机动力系统。分析表明，该方法保证节点表示不会崩溃到低维子空间，从而防止渐近过平滑并保持表示多样性。
-
两篇arXiv论文详述从单条轨迹学习动力学系统 · 跟踪2个来源
两篇新提交至arXiv的stat.ML板块的研究论文探讨了从单条轨迹学习动力学系统。第一篇论文侧重于切换非线性动力学系统，基于函数类熵为预测风险提供理论保证，并获得明确的收敛速率。第二篇论文处理遍历动力学系统，通过非线性最小二乘法推导出预测函数估计的高概率保证，并将框架扩展到高阶系统和Koopman算子。
-
大语言模型文本处理详解：从词数统计到语言学和符号学 · 追踪8个来源
一系列文章探讨了大语言模型（LLM）如何处理和理解文本的技术基础。作者深入介绍了各种方法，从基本的词数统计和TF-IDF、马尔可夫链等统计技术，到Word2Vec、MLP、RNN和LSTM等更先进的神经网络方法。该系列还触及了理解LLM功能所必需的语言特征和符号学理论，并强调这些模型是复杂的机器，而非有意识的思维体。
-
新框架对模型误设下的 Thompson Sampling 进行分类
本文引入了一个新颖的随机稳定性框架，用于分析在潜在模型可能被误设的动态决策场景中的 Thompson Sampling (TS) 算法。该研究对双臂高斯老虎机中的后验演化进行了详细分类，识别出预测极限信念、行动频率和渐近遗憾的明确状态。然后，该框架被推广到有限模型类别，为模型误设下的 TS 行为提供了定性和几何理解，并为结构化老虎机问题中的鲁棒决策奠定了基础。
-
新框架通过随机过程解释量子学习模型
一篇新研究论文提出了一个框架，通过将量子学习模型表示为随机过程来解释它们。这项由Johannes Fankhauser领导的工作解决了量子动力学通常违反Chapman-Kolmogorov条件这一挑战，这使得它们难以分解为像经典马尔可夫过程那样的有意义的中间跃迁。所提出的方法将量子通道建模为概率表示上的跃迁核，引入了非经典性（负性）与对过去配置的依赖性（更高的马尔可夫阶数）之间的权衡。这种方法提供了一种将量子动力学解释为通过记忆空间的…
-
研究人员分析Transformer注意力机制和前馈网络 · 跟踪2个来源
两篇新研究论文探讨了Transformer模型的基本组成部分，特别关注注意力机制与前馈网络的作用。第一篇论文《注意力机制Transformer的可控研究》（A Controlled Study of Attention-Only Transformers）研究了前馈层是否必不可少，发现虽然移除它们会带来性能损失，但将参数重新分配给注意力深度可以在很大程度上弥补这一不足。第二篇论文《相关与不相关：Transformer注意力的重整化群分…
-
新的扩散距离指标超越局部模式测量空间聚类
研究人员引入了一种名为扩散距离的新指标来测量空间聚类。该指标通过考虑全局图几何结构而非仅仅局部模式，扩展了像Moran's I这样的传统空间自相关度量。扩散距离源于图约束马尔可夫链下概率分布收敛率，具体使用了Metropolis-Hastings算法。所提出的方法为空间聚类提供了理论界限和统计检验，在合成数据上显示出比Moran's I更高的功效，并揭示了美国城市中城市隔离模式的细微差别。
-
MAESTRO框架通过模拟专家依赖性来改进MoE模型剪枝
研究人员开发了MAESTRO，一个新颖的结构化剪枝框架，旨在解决Mixture-of-Experts (MoE)语言模型的部署瓶颈。与使用局部启发式方法的先前技术不同，MAESTRO将专家激活轨迹建模为马尔可夫链，以捕捉跨层依赖性，提供全局感知的关键度启发式。该方法显著提高了性能保持率，在50%压缩机制下，性能优于现有方法高达10.61%，并在安全、偏见和伦理等多样化任务中展现出更一致的泛化能力。
-
AI预测5G网络状态以克服回程延迟
研究人员开发了一种新颖的两阶段预测框架，以减轻5G网络协同波束成形中回程延迟的影响。该框架利用谱时图神经网络（StemGNN）来预测未来的用户设备调度状态，从而有效地替换因网络延迟而导致的过时信息。这种预测方法显著提高了协同波束成形的性能，挽回了通常因延迟而造成的和速率及公平性损失的很大一部分。
-
新的模糊逻辑框架通过动态加权增强群体决策
本文提出了一种名为双模糊概率区间语言术语集（DFPILTS）的新框架，以解决现有群体决策概率语言术语方法中的局限性。所提出的DFPILTS通过定义模糊语义集成、偏好关系和聚合算子，旨在为决策者提供更丰富的信息。它还结合了模糊语言马尔可夫矩阵以及基于信息熵和距离测度的动态属性权重确定方法，以处理时变数据并达成群体共识，并通过投资风险案例研究进行了说明。
-
研究发现：Transformer 可增量学习稀疏注意力模式
本文研究了 Transformer 在高阶马尔可夫链上训练时如何增量学习稀疏注意力模式。研究人员 Oğuz Kaan Yüksel 及其同事观察到，Transformer 的学习过程是先关注统计上最重要的位置，然后专门化不同的模式，他们用微分方程对此过程进行了建模。研究表明，这种分阶段学习（每个阶段代表一个表达能力逐渐增强的模型）对 Transformer 在序列任务中的泛化能力具有启示意义。
-
新的SAGO框架支持实时3D高斯分割
研究人员开发了SAGO（Segment Any Gaussians Online），一个旨在实现3D高斯样条（3DGS）场景实时交互式分割的新框架。与之前需要冗长场景设置时间的先前方法不同，SAGO通过使用虚拟无人机和马尔可夫过程将分割任务重新构建为在线最佳下一视图规划问题，从而消除了这一瓶颈。这种方法可以实现亚秒级分割，支持对象操作和场景编辑等应用，并比现有技术有显著的加速。
-
新的平稳分布理论解释随机森林集成大小调优 · 跟踪 2 个来源
本文介绍了一个理论框架，用于理解随机森林中基于平台的调优过程中集成大小的平稳分布。该研究将中心集成大小建模为生灭马尔可夫链，推导出其平稳分布并表征其散布。研究结果表明，基于平台的调优应被视为一个随机过程，而不是一个确定性的停止规则，这对集成大小的优化方式有影响。
-
新方法优化带马尔可夫噪声的PL-SGD，以改进界限
研究人员开发了一种优化满足 Polak-Łojasiewicz (PL) 条件的光滑目标的新方法，特别是在梯度样本受到马尔可夫噪声影响时。该方法为随机梯度下降 (SGD) 建立了高概率界限，在轻尾情况下是最优的，缩小了现有期望和高概率保证之间的差距。该工作还为重尾马尔可夫梯度引入了一种全样本裁剪块方法，实现了最优依赖于混合时间和尾部指数的高概率随机误差。
-
新的 TD(0) 算法通过单一步长实现鲁棒且快速的收敛
研究人员开发了一种新的线性 TD(0) 算法方法，该方法使用单一的步长调度，无需预先了解曲率参数。这种方法为算法的稳定性和收敛性提供了高概率保证。新的步长调度同时实现了鲁棒的、无曲率的速率和快速的、依赖曲率的速率，为马尔可夫环境中的学习提供了更有效、更稳定的解决方案。
-
新的TR-CIE采样器在函数评估次数有限的情况下提高了离散流匹配的质量 · 已追踪3个来源
研究人员开发了一种名为时间重参数化累积强度外插（TR-CIE）采样器的新型采样方法，用于离散流匹配（DFM）。该方法旨在提高生成模型在离散状态空间上的采样质量，尤其是在函数评估次数有限的情况下。TR-CIE结合了基于调度的重参数化和累积强度外插规则，共同提高了累积强度的近似精度并减少了近似误差。该采样器每步需要一次函数评估，并在文本生成和文本到图像任务等各种基准测试中展示了改进的采样质量。