nonparametric regression
PulseAugur coverage of nonparametric regression — every cluster mentioning nonparametric regression across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
机器学习中条件期望算子新判据
一篇新论文介绍了一个可验证的判据，用于理解条件期望算子（CEOs）和条件均值嵌入（CMEs）。这些概念在非参数回归、贝叶斯逆问题和库普曼算子理论等领域至关重要。研究表明，CEOs的映射性质由条件律的Radon-Nikodym密度的正则性决定。该论文提供了一个简单的条件，以确保CEO是有界的且是Hilbert-Schmidt的，这有助于验证CME表示和估计器的误差界。
-
标准Transformer在非参数回归中达到最优速率
一篇新的arXiv论文表明，当逼近Hölder函数时，标准Transformer模型可以在非参数回归任务中达到最优速率。该研究为Transformer在大型语言模型和计算机视觉等领域的有效性提供了理论基础。该研究还引入了表征Transformer结构的度量，这可能有助于未来对其泛化和优化误差的研究。
-
新研究推进一致性预测以进行不确定性量化 · 跟踪 8 个来源
研究人员开发了新的理论框架和计算方法来增强一致性预测，这是一种用于量化机器学习模型中不确定性的技术。一篇论文提出了一种最优数据划分策略，用于分割一致性预测，以在保持覆盖保证的同时最小化预测区间长度，适用于包括神经网络在内的各种回归设置。另一项研究引入了近似留一估计器来加速一致性预测，通过显著减少运行时间，在覆盖率和效率方面可与精确方法相媲美。此外，还在探索用于分类任务（特别是长尾数据集）的宏观覆盖保证以及处理完全一致性预测中随机性的新方法。
-
新回归方法增强了基础模型的安全性和准确性
研究人员开发了一种新的黑盒辅助回归方法，旨在提高基础模型在下游任务中使用有限数据时的可靠性。该方法称为安全残差估计器（Safe Residual Estimator），它学习对现有黑盒预测器进行修正，并使用验证数据，如果修正支持不佳，则恢复到原始预测器，从而避免负迁移。在合成数据和真实世界数据集（如 CIFAR-100 和 AG News）上使用 CLIP 和 Qwen3-8B 等模型进行的实验，证明了这种残差修正权衡的有效性。
-
浅层 ReLU-s 网络逼近与泛化研究
研究人员发表了一篇论文，详细介绍了 L^p 型和 Sobolev 空间中浅层 ReLU-s 网络的逼近界限。该研究利用球谐分析来建立这些界限，在某些参数范围内显示出优于现有随机特征率的改进。此外，该论文在非参数回归场景中提出了路径范数正则化网络的极小极大最优泛化界限。