kriging
PulseAugur coverage of kriging — every cluster mentioning kriging across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的D-TIN方法改进了卫星数据的冰盖表面重建
研究人员开发了一种名为D-TIN的新方法,用于从卫星测高数据中重建冰盖表面,该数据以稀疏的轨道覆盖为特征。该技术直接在观测位置利用Delaunay三角剖分和重心插值。与克里金法和基于瓦片的多项式插值等现有工作流程相比,D-TIN显著降低了均方根误差,并提供了显著的计算效率提升。
-
新的后验分层重要性采样方法增强了不确定性量化
研究人员推出了一种名为后验分层重要性采样(PIS)的新颖方法,旨在解决传统重要性采样技术固有的高方差和不可靠的不确定性量化问题。PIS将复杂的加权问题重新构建为更简单的、一维的建模任务,特别是条件均值回归和重要性比率密度估计。该方法提供了一系列估计器,包括标准重要性采样,并通过模拟和交叉验证应用证明了在准确性和不确定性量化方面的改进。
-
新的克里金方法整合全局PDE残差以增强概率求解
研究人员引入了一种名为PDE残差知情克里金(PRIK)的新方法,以增强使用高斯过程求解偏微分方程(PDE)的概率框架。PRIK将全局PDE残差信息直接整合到协方差结构中,提供了一种比依赖于点条件或全局约束的现有方法更全面的方法。这种新公式旨在最小化其后验均值中的积分平方PDE残差,并为方差缩放和模型复杂度提供统计解释。
-
图信息克里金模型提升风电场布局贝叶斯优化效率
研究人员开发了一种新颖的图信息克里金框架,以提高风电场布局贝叶斯优化的效率。该新方法将可重用的空气动力学交互信息嵌入到代理均值函数中,将风电场表示为有向空气动力学图。该方法提高了预测精度和样本效率,尤其是在高维布局空间和稀疏数据条件下,并在IEA Wind Task 37基准测试中得到了验证。
-
新研究探索无需训练的LLM偏好学习方法 · 已追踪2个来源
两篇新研究论文探索了在无需大量微调的情况下,改进大型语言模型(LLM)处理序列偏好学习的方法。第一篇论文“AdaptFuse”引入了一个训练免费的框架,将贝叶斯计算从LLM外部化,结合符号推理和LLM语义分析以获得更准确的推荐。第二篇论文“Fully sequential Gaussian process regression for preference learning”提出了一种使用高斯过程和一种称为DOVE的采样策略的新方法,…
-
新研究揭示了先验数据拟合网络中的谱结构
两篇新研究论文探讨了先验数据拟合网络(PFNs)的内部机制,这是一种表格基础模型。第一篇论文提供了机械证据,表明PFNs捕获与其上下文相关的谱结构,这些结构可以被解码为高斯过程回归的显式核。第二篇论文研究了PFNs如何摊销贝叶斯推理,发现它们通常能很好地恢复目标后验预测分布,但在罕见情况下可能表现出残差误差,这可以通过贝叶斯模型平均来缓解。
-
新的双保真度代理模型结合主动学习用于随机场
研究人员开发了一种新的双保真度 Karhunen-Loève 展开 (KLE) 代理模型,用于处理不确定输入下的值域感兴趣量。该模型结合了 KLE 的效率和多项式混沌展开,以保持输入不确定性与输出场之间的清晰联系。通过将廉价的低保真度模拟与有限数量的高保真度模拟相结合,该方法旨在实现准确且经济高效的代理模型构建。还引入了一种主动学习策略,根据代理模型的估计泛化误差自适应地选择高保真度模拟,进一步提高预测精度。
-
强化学习优化核物理实验
研究人员开发了一个新颖的数据驱动控制框架,该框架利用强化学习和代理模型来优化核物理散射实验中的目标极化。该系统使用APOLLO低温靶系统的运行数据来训练模型,这些模型根据微波频率、束流和辐射剂量预测极化。通过平衡性能和不确定性的奖励公式进行训练的强化学习代理,其性能比人工操作员提高了近一倍。
-
研究表明 Transformer 可实现高斯核回归
一项新的研究论文表明,标准的 softmax 注意力 Transformer 可以在其前向传播过程中近似高斯核岭回归 (KRR) 预测器。该研究构建了一个单头 Transformer,能够实现预条件 Richardson 迭代,这是一种求解核系统的方法。这项工作揭示了 Transformer 内部的功能分解,其中注意力层处理跨 token 交互,MLP 层管理 intra-token 算术。在 GPT-2 风格的 Transforme…
-
新的高斯过程框架提供可扩展的精确推理
研究人员开发了一个自适应多分辨率高斯过程框架,旨在提高概率机器学习模型的可扩展性和保真度。这种新方法使用直接锚定在样本上的自适应多分辨率基函数来构建自然数据稀疏的协方差矩阵。该框架能够以 O(n log^2 n) 的训练成本和 O(log^d n) 的预测成本进行精确推理,为高保真高斯过程回归提供了一种原则性的方法。
-
新的GP-Refiner框架加速扩散变换器
研究人员开发了一个名为GP-Refiner的新框架,用于加速扩散变换器(Diffusion Transformers),这是生成式AI中的一个主流范式。这种即插即用(plug-and-play)的方法利用高斯过程回归(Gaussian Process Regression)动态纠正预测式特征缓存(prediction-based feature caching)中出现的偏差,而特征缓存是加速这些模型的一种常用技术。通过将完整的计算步骤…
-
研究人员建议不要在机器学习中使用高斯核
最近的一篇论文认为,在回归和分类等机器学习任务中不应广泛使用高斯核。作者认为,这种核(也称为平方指数核或径向基函数核)会导致条件方差不切实际地小,从而导致预测不确定性过度自信。此外,这种平滑性会导致数值病态,在实际应用中需要引入金块项等变通方法。该论文广泛建议由于这些问题而避免使用解析核。
-
新的Bryson-Frazier平滑器增强了高斯过程回归的稳定性
研究人员为时间高斯过程回归开发了一种改进的Bryson-Frazier(MBF)平滑器。该方法通过避免有问题的协方差矩阵求逆,提供了比Rauch-Tung-Striebel(RTS)平滑器更数值稳定的替代方案。MBF平滑器还降低了计算成本和内存需求,同时实现了高效的核超参数学习。
-
新的生成GPR模型可鲁棒地处理异常值
研究人员开发了一种新的生成高斯过程回归(GPR)模型,旨在克服传统GPR方法中异常值造成的显著失真。这种新颖的方法对观测特定的污染进行建模,使其能够在学习和预测过程中自适应地减少异常值的影响。在合成和真实世界数据集上的实验表明,所提出的方法在性能上可与现有的鲁棒GPR技术相媲美,在某些情况下甚至优于它们,同时保持相似的立方计算复杂度。
-
发布新的 SpotOptim Python 包用于黑盒函数优化
SpotOptim Python 包已发布,为优化昂贵的黑盒函数提供了一个框架。它采用基于 Kriging 的方法和预期改进(Expected Improvement),支持各种变量类型、带噪声的评估和多目标优化。该包包含诸如基于成功率的重启机制以防止停滞等功能,并与 scikit-learn 兼容的代理模型集成。SpotOptim 还提供 TensorBoard 日志记录以进行实时监控,并与其他几个流行的优化工具进行了比较。
-
新的因子图方法提高了高斯过程回归的可扩展性
研究人员开发了一种新颖的因子图方法来解决多输出高斯过程回归中的可扩展性挑战。这种新方法将回归问题表示为因子图,通过高斯消息传递实现高效的后验计算。该公式在数据样本数量和缺失观测值方面具有良好的可扩展性,在速度和准确性方面优于传统的核矩阵和稀疏变分方法,尤其是在时间序列预测任务中。
-
新框架正式化了AI表征中的结构编码
研究人员引入了一个名为Legendre动力学的新框架,该框架正式化了学习系统中的内部表征如何编码潜在的物理或统计结构。该方法使用Legendre对偶来确保演化的对偶参数保持其对偶关系,这是线性高斯过程回归和Ornstein-Uhlenbeck动力学中的一个特性。该工作还表征了保持Legendre图的辛同构,并构建了通过其循环更新固有地保持这些Legendre图的Hamiltonian辛Reservoirs。
-
新的自适应Nyström方法增强了高斯过程回归的可扩展性
研究人员开发了一种自适应Nyström方法来提高高斯过程回归(GPR)的可扩展性。这种新方法贪婪地选择标志点以最小化近似误差,在准确性和稳定性方面优于随机选择。该方法在性能上可与精确GPR相媲美,同时样本量呈线性扩展,使其适用于大规模计算机实验。
-
新的贝叶斯在线学习框架聚合专家以实现自适应预测
研究人员开发了一个新的贝叶斯在线学习框架,通过将更新规则视为专家来解决固定推断选择的挑战。这种聚合方法在事后与最佳专家竞争,成本由性能评估决定。该框架已应用于在线一致性推断,产生了一个具有随机覆盖的贝叶斯对应物,并应用于高斯过程回归,显示出对未知Hölder平滑度的适应性。
-
高斯过程回归增强了连续动作的蒙特卡洛树搜索
研究人员开发了一种新的蒙特卡洛树搜索(MCTS)方法,该方法利用高斯过程回归来提高在具有连续动作空间的中的性能。该方法旨在更好地聚合来自不同线程的统计数据,为尚未经过广泛试验的动作提供价值估计。在六个域上的评估表明,这种高斯过程聚合策略仅以推理时间的微小增加就优于现有方法。