lasso
PulseAugur coverage of lasso — every cluster mentioning lasso across labs, papers, and developer communities, ranked by signal.
- instance of ScienceCast 90%
- instance of mountain ridge 90%
- instance of elastic net regularization 70%
- instance of alphaXiv 70%
- instance of Gotit.pub 70%
- instance of CatalyzeX 70%
- competes with mountain ridge 60%
- competes with least squares method 60%
- used by least squares method 55%
- other ScienceCast 50%
- other alphaXiv 50%
- competes with elastic net regularization 50%
3 天有情绪数据
-
AI系统学会修正科学理论并改进发现过程 · 跟踪2个来源
研究人员正在开发新的方法，用于超越在固定假设集内进行优化的AI驱动的科学发现。一种方法，“学习超越理论”，使发现策略能够共同编辑其假设空间结构并设计实验来测试这些编辑。该方法在恢复受控环境中的潜在机制方面显示出显著的改进，甚至可以检测到当前模型库不足的情况。另一个系统，Guidance-TTT，将测试时训练中的策略和执行的角色分开，使用一个紧凑的指导模型进行策略更改，并使用一个固定的执行模型进行实现。该方法在组合优化和机器学习等各种领…
-
新方法增强了机器学习因果推断中的协变量选择
一篇新的研究论文介绍了一种改进双重稳健双重/去偏机器学习（DML）在因果推断中协变量选择的方法。所提出的方法包括使用倾向得分模型和结果模型选择的协变量的并集来重新估计这些模型。该技术旨在比使用单独的协变量集更有效地减少混淆偏差，模拟结果证明了这一点。研究结果还表明，基于机器学习的估计并不总是优于传统的双重稳健估计，并且后 Lasso 方法可以比标准 Lasso 减少更多的混淆偏差。
-
新的PU分类方法整合SMOTE以提高准确性
研究人员开发了一种新的基于逻辑回归的PU分类方法，专门解决SCAR假设的违反问题。该方法整合了SMOTE技术来处理类别不平衡并提高分类性能。在多个基准数据集上的实验表明，所提出的方法，特别是与SMOTE结合的LassoJoint方法，在SCAR条件不满足的情况下显示出更高的准确性和鲁棒性。
-
新方法提升混合专家模型的效率和性能
研究人员开发了新方法来提高混合专家（MoE）模型的效率和性能。一种方法是层级分布对齐（LDA），它通过校准表示以匹配训练配置来解决推理时激活专家数量减少时发生的性能下降问题。另一种方法提出了一个广义线性专家MoE模型的正则化最大似然框架，通过近端牛顿-EM算法实现参数估计和特征选择的同步。
-
新的神经符号回归框架结合了深度学习与稀疏建模
研究人员开发了一个新的神经符号回归（NSR）框架，该框架结合了神经网络和稀疏建模技术，以从数据中发现简洁的数学表达式。该方法首先使用神经网络在非线性特征空间中学习鲁棒的函数逼近，然后使用LASSO提取稀疏、可解释的方程。在Nguyen基准套件上的实验表明，NSR在均方根误差、噪声鲁棒性和泛化能力方面优于遗传编程和SINDy等传统方法。
-
评估用于预测老年人住院风险的机器学习模型
一篇新发表在arXiv上的研究论文详细介绍了对患有多种长期疾病的老年患者预测住院风险的机器学习模型的全面评估。该研究使用CPRD Aurum数据开发了一个可扩展的临床数据基础设施，并将时间图卷积神经网络（TG-CNN）与LASSO正则化的逻辑回归和随机森林进行了基准测试。虽然TG-CNN在交叉验证中显示出略高的AUC-ROC，但LASSO正则化的逻辑回归在保留测试集上表现最佳，并显示出更优的校准，使其成为最适合直接临床部署的模型。
-
新研究推进统计建模的LASSO方法
两篇新研究论文探讨了统计建模中LASSO（最小绝对收缩和选择算子）方法的进展。第一篇论文详细介绍了具有秩约束的矩阵LASSO的严格受限等距阈值，为恢复数据中的潜在结构提供了理论保证。第二篇论文介绍了“Autotune”，一种自动选择LASSO中调优参数的新策略，该策略在回归和向量自回归模型的低信噪比场景下，被证明比现有方法更快、更准确。
-
新优化方法在高维问题上展现潜力
研究人员开发了一种新的Bregman线性增广拉格朗日方法，用于解决非凸约束随机零阶优化问题。该方法利用随机零阶梯度估计器和方差缩减技术来分析预言机复杂度。所提出的方法在高维设置下表现出改进的性能，实现了低于O(d)的维度依赖性，并与文献中关于容差\(\\epsilon\\)的最低复杂度阶数相匹配。在约束Lasso和对抗性攻击问题上的数值实验表明了有希望的结果。
-
几何约束KAN学习符号回归的自适应边缘函数
研究人员开发了几何约束的Kolmogorov-Arnold网络（KANs），通过标量指数'p'学习边缘几何。这种方法允许自适应响应，根据学习到的指数，从尖锐的、阈值状的行为到更平坦的曲线。在50个符号回归任务中，这些几何约束KANs，特别是Banach-KAN变体，在中值NRMSE方面与固定基线方法相当或超越了它们，并在测量噪声和少样本情况下表现出更优越的稳定性。学习到的指数还为目标依赖的几何排序提供了可解释的见解。
-
新的MultiSigBERT模型通过多模态数据增强肿瘤学生存预测
研究人员开发了MultiSigBERT，一个用于肿瘤学多模态序列生存建模的新框架。该方法整合了异构数据源，包括叙述性临床报告和结构化患者数据，以改进生存预测。通过利用路径签名表示和LASSO正则化的Cox模型，MultiSigBERT能够捕捉跨模态的复杂时间交互，在真实肿瘤学队列中达到了0.743的一致性指数。
-
新的SAR去斑方法在基准测试中达到顶级性能
研究人员开发了一种新颖的合成孔径雷达（SAR）去斑方法，该方法可在不遮挡重要散射结构的情况下去除SAR图像中的噪声。新技术重新审视了非局部稀疏估计器，应用了log--Yeo-Johnson变换并将相似的块编码为组。这种方法确定性地固定了可调参数，包括从随机矩阵理论导出的几何校准校正，该校正将多个设置合并为一个解析确定的自由度。由此产生的估计器无需训练，并在合成基准测试中与十二种已发布的方法进行的24次比较中的18次中排名第一，在实际S…
-
新的理论界限改进了复杂分布的Langevin采样
研究人员为Moreau--Yosida未调整Langevin算法（MYULA）开发了新的理论界限，这是一种用于从复杂概率分布采样的算法。该研究侧重于非光滑复合目标，并引入了一个新指标——活动迹（active trace），与以前的方法相比，该指标能更好地控制算法的离散化误差。这一进展可能导致更有效的机器学习采样技术，特别是在涉及强凸和Lipschitz梯度的问��中。
-
新研究探讨高维网络中的变量选择
一篇新的研究论文探讨了在高维网络中选择相关变量的方法，特别是在底层模型可能被误设的情况下。该研究展示了岭参数如何影响均方误差，从而降低测试方差并更全面地识别邻域。它将这些发现与双重下降等机器学习概念联系起来，表明在具有众多参数的模型中，模型空间的体积应被纳入惩罚项中，以实现准确的邻域选择。
-
新Lasso普遍性定理发布，适用于稀疏模型
研究人员发表了一篇论文，详细介绍了Lasso估计方法的Gaussian普遍性定理。该定理适用于稀疏模型中具有线性相关协变量的情况，允许比以往研究更一般的行和列同时依赖结构。研究结果得到了各种稀疏模型下数值例证的支持。
-
可解释的AI模型揭示了游戏中人类的决策模式
研究人员探索了可解释的机器学习模型，以理解游戏中人类的决策，特别是偏离预测的独立同分布（i.i.d.）博弈行为。通过分析来自零和纸牌游戏的84,000多项决策，该研究将LSTMs等黑箱序列模型与透明模型进行了比较。研究结果表明，诸如重复或避免过去行为等可预测的行为，特别是关于玩家自身近期历史的管理，占了大部分具有战略意义的信号，而频率跟踪的预测价值很小。
-
新研究质疑双重机器学习置信区间可靠性
一篇新研究论文探讨了在使用各种机器学习算法进行干扰参数估计时，双重机器学习（DML）中置信区间的可靠性。该研究进行了模拟，比较了LASSO、Random Forest、LightGBM和神经网络等算法的分析置信区间和自举置信区间。结果表明，覆盖性能存在显著差异，具体取决于所选的学习器，覆盖概率有时会随着样本量的增加而降低。该研究还将这些方法应用于检查美国肥胖患病率城乡差异的真实数据集，证实了学习器选择会影响模型性能，并发现了更大的乡村…
-
新框架支持去中心化网络上的隐私保护分布式卷积秩回归
研究人员为去中心化网络上的分布式卷积秩回归（CRR）引入了一个新框架。该方法允许仅使用本地数据和邻居节点之间共享的信息来推导估计量，从而提高隐私性和通信效率。该框架包括异构网络设置下的有限样本误差界限，以及稀疏 CRR LASSO 估计器的支持恢复保证。采用广义共识 ADMM 在网络节点之间进行高效的数值实现，并通过模拟和真实世界实验验证了其性能。
-
经典机器学习模型在表格数据上表现出幂律缩放
一项新近发表在arXiv上的研究对经典机器学习模型在表格数据上的表现进行了基准测试，结果表明幂律能够准确描述各种数据集和模型家族的学习曲线。研究发现，在分类任务中，树集成模型（特别是Boosting和Random Forest）在完整数据上表现最佳。值得注意的是，模型家族内的指数表现出近似的共同特征，这表明在一定程度上存在可预测的压缩性，尽管并非普遍适用。研究还强调，即使在固定的随机状态下，实现结果也存在显著差异，这表明了预处理和缺失…
-
新Python包ROOFS助力临床试验中的生物标志物特征选择
研究人员开发了ROOFS，一个Python包，旨在帮助生物医学研究人员为生物标志物发现和临床预测建模选择合适的特征选择方法。该包在用户数据上对各种方法进行基准测试，提供关于预测性能、稳定性和特征鲁棒性的报告。在利用PIONeeR临床试验数据进行的演示中，ROOFS确定了一种结合t检验和逻辑回归的Benjamini-Hochberg调整后p值的最佳方法，该方法优于LASSO等方法。
-
新的 Cox 模型方法增强了生存分析的变量选择
研究人员开发了一种在生存分析中进行变量选择的新方法，该方法建立在 Cox 比例风险模型的基础上。该方法利用偏似然函数的平方根变换，使得正则化参数的选择独立于未知的基线风险和删失机制。所提出的标准结合了像 BIC 这样的信息标准和像 lasso 这样的惩罚回归方法，旨在提高在模拟数据和真实世界数据上的性能，特别是在支持恢复应用中。