mathematical optimization
PulseAugur coverage of mathematical optimization — every cluster mentioning mathematical optimization across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的ZOIF方法支持仅使用前向传播进行LLM数据选择
研究人员推出了一种新颖的框架ZOIF，用于估计大型语言模型（LLM）中的影响函数，该框架无需反向传播。该方法仅使用前向传播，显著降低了内存需求，并使LLM的数据选择更加可行。ZOIF将过程分解为三个阶段，包括使用零阶估计近似梯度以及通过优化求解逆Hessian-向量积，最终得出每个样本的影响得分。实验表明，ZOIF选择的数据子集具有与现有方法相当或更好的效用，同时消耗的峰值内存大大减少，计算时间相似。
-
AI对民主的影响：抵制优化的权利
本文探讨了人工智能与民主社会之间复杂的相互关系，认为公民拥有抵制人工智能系统驱动的普遍优化的基本权利。文章提出，不受约束的人工智能优化可能会破坏民主价值观和进程，因此需要有意识地努力来维护人类的能动性和自主性。
-
arXiv新论文探讨机器学习理论、样本量和优化
三篇最新的arXiv论文深入探讨了机器学习的理论基础和实际应用。其中一篇论文提出了一个用于估计机器学习模型所需样本量的统计框架，解决了传统功效分析在复杂、非线性模型上面临的挑战。另一篇论文提供了一个数学规划模型及其在机器学习和人工智能中应用的统一分类法，整合了不同子领域零散的文献。第三篇论文概述了过参数化机器学习的理论，探讨了高度复杂的模型如何在拟合嘈杂的训练数据的情况下仍能获得良好的泛化能力，并对传统的偏差-方差权衡提出了质疑。
-
新方法使用可微优化进行数据中心电力规划
研究人员开发了一种新颖的方法来规划大型数据中心运营，将电力市场出清视为一个可微优化层。这种方法允许进行基于梯度的规划，通过将成本信息向后传播通过市场出清过程，从而使系统能够优化跨不同站点的负载分配。该技术在合成网络上得到了验证，成功地为跨六个候选总线的 50 兆瓦负载恢复了近乎最优的连续分配，证明了其在高效的市场感知规划方面的潜力。
-
保形预测与DRO统一用于不确定性量化
研究人员开发了一个统一的概率框架，将保形预测（CP）和分布鲁棒优化（DRO）联系起来用于不确定性量化。这种新视角将这两种方法都视为从有限校准数据中推导出数据依赖型分位数估计器的方式。虽然CP调整分位数水平，DRO移动分位数数值，但它们的构建方式不同，导致行为各异，尤其是在分数分布的尾部。
-
AI 探索“思想”以指导优化过程
该条目讨论了将“思想”作为指导“优化”过程的机制的概念，旨在避免不良结果。它表明这种方法可以带来更积极和繁荣的未来，强调整洁和认知环境。
-
巴西人工智能会议见证大型语言模型、开放科学的兴起
一项对巴西智能系统会议（BRACIS）十一年的元科学研究揭示了巴西人工智能研究的趋势。研究发现，自2020年以来，大型语言模型研究显著增加，目前占论文的19%。作者参与的特点是单届贡献者比例高，而引用高度集中在少数论文中。研究还强调了开放科学实践的兴起，例如工件发布和arXiv上的预印本可用性，预印本与更高的引用次数之间存在显著相关性，尽管全文访问仍受付费墙限制。
-
研究将学习率与大型语言模型中的灾难性过度拟合联系起来
一篇新的研究论文探讨了学习率在大型语言模型（LLMs）的监督微调（SFT）过程中如何影响灾难性过度拟合。该研究发表在arXiv上，表明即使在相同的SFT损失下进行训练，不同的学习率也会导致定性上不同的模型。具体而言，研究表明学习率衰减会增加预训练模型的尖锐度，进而加剧SFT过程中的遗忘和过度拟合。
-
新的SERUM框架从屏幕视频中提取用户行为模型
研究人员开发了SERUM，一个新颖的框架，通过分层视觉语言模型注释，从非结构化屏幕活动中提取和精炼有限状态行为模型。该多通道系统在活动识别和意图推断之间交替进行，以提高标签准确性并减少幻觉。SERUM已证明其能够从以自我为中心的屏幕视频中创建可解释的过程模型，而无需手动注释，这为可扩展的用户建模和行为理解带来了希望。
-
新研究表明熵平滑凸优化无法加速
arXiv上发表的一篇由Dragomir等人撰写的论文表明，熵平滑凸优化无法加速。该研究证明了该类函数中最小化方法的收敛速率的下界，表明一阶方法在对数因子内是最优的。这一发现尤其值得注意，因为在标准的平滑假设下通常可以使用加速方法，但这项工作表明对于具有有利结构的特定近函数，无法实现加速。
-
基础模型在多智能体系统中协调以增强推理能力 · arXiv 研究
研究人员开发了一个多智能体框架，通过协调不同的模型来增强基础模型的推理能力。该系统包括生成初步草稿的求解器模型、通过结构化批评进行改进的批评智能体，以及综合最终共识的聚合器。评分模块评估解决方案的语义、数值和程序方面。实验表明，模型异质性是性能提升的关键驱动因素，而非框架架构或冗余采样，从而使准确性提高了 2.3 倍，并提高了分步推理质量。
-
新专著勾勒深度学习理论从近似到涌现的蓝图
一本题为《从近似到涌现：深度学习理论》的新专著，提供了一个统一的、面向证明的现代深度学习理论叙述。本书追溯了该领域从近似和泛化等经典概念到过参数化、生成模型、Transformer和涌现等当代主题的演变。它旨在为研究人员和从业者提供一个严谨的深度学习理论图谱，强调其当前的强大之处、不完整性以及日益增长的对学习机制如何从规模、数据、架构和训练中产生的关注。
-
空中客车公司在VivaTech展会上展示AI和量子技术在飞行创新中的应用
在VivaTech展会上，空中客车公司展示了人工智能和量子技术的最新进展，旨在革新飞行运营。该公司强调了这些技术如何提高导航精度、优化运营效率，并改善航空和太空应用的安全系统。具体应用包括飞行员辅助、弹性导航和更智能的空中交通管理。
-
新的基准套件旨在推进约束获取方法
研究人员推出了 MPMMine，这是一个新的基准套件，旨在解决数学规划 (MP) 模型约束获取 (CA) 算法评估中的局限性。现有的基准不足以支持 CA 方法，阻碍了可重复性和进展。MPMMine 提供了一个标准化的、全面的、可扩展的模型、实例、解决方案和自然语言描述的集合，以促进 CA 算法的开发和评估。
-
机器学习指南提供包含Python实现的必备方程
一份新指南汇编了重要的机器学习方程，重点关注其应用和数学基础。它涵盖了信息论、线性代数和优化中的关键概念，包括熵、交叉熵和KL散度的详细解释和Python实现。该资源旨在为从业者提供一个便捷的参考，借鉴了常用的公式，并包含神经网络基础和损失函数的章节。