Pareto frontier
PulseAugur coverage of Pareto frontier — every cluster mentioning Pareto frontier across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新方法EA-SURF优化语音大语言模型任务权衡
研究人员开发了一种名为EA-SURF的新方法，以解决语音大语言模型（LLMs）中的任务权衡问题。这些模型通常执行多种任务，如语音识别、时间戳预测和语音翻译，联合训练可能导致这些任务之间的妥协。与使用固定损失权重的标准训练方法不同，EA-SURF在训练过程中调整标量化权重，以使模型的性能与特定的部署偏好保持一致。这种方法已被证明可以提高性能，在六种不同的语音大语言模型请求中，端点包含的归一化超体积提高了17.8%。
-
新框架评估基于LLM的社会模拟模型容量
研究人员引入了模型容量前沿（MCF）框架，旨在评估大型语言模型（LLM）支持的基于代理的模型（ABM）的实证性能。MCF通过估计的帕累托前沿来表征各种配置下的可实现性能。该框架通过一个约12,000个代理的大学毕业典礼人群模拟进行了演示，将传统的拥挤模型与连续的LLM支持的架构扩展进行了比较。研究表明，初步的LLM集成改善了流动方向，但对时间占用和空间分布产生了负面影响，而后续的改进则增强了时间占用并恢复了空间性能。
-
新的MOCHA方法优化LLM代理技能，兼顾准确性和经济性
研究人员开发了MOCHA（多目标切比雪夫退火），一种用于优化大型语言模型中代理技能的新颖方法。传统方法常常难以处理技能准确性和效率之间固有的权衡，导致进展停滞。MOCHA通过使用切比雪夫标量化来探索和扩展技能的帕累托前沿，接受那些在准确性或经济性方面提供改进的方案，从而解决了这一问题。该方法已展示出显著的收益，在准确性方面优于基线方法，并在各种模型和基准测试中发现了更多的帕累托最优技能。
-
扩散模型和MCMC加速航天器轨迹优化
研究人员开发了一个新颖的迁移学习框架，以提高初步任务设计中航天器轨迹生成的效率。该方法结合了扩散模型和马尔可夫链蒙特卡洛（MCMC）方法，以更有效地学习和采样代表高质量初始协态的分布。通过重新构建多目标优化问题并采用基于梯度的MCMC算法，该框架生成的符合要求解的数量更多，并且与现有间接方法相比，实现了更优的帕累托前沿。经过任务参数条件化的微调扩散模型能够高效地生成新解，使该框架成为解决不同轨迹优化问题的实用工具。
-
新研究优化LLM智能体工作流的成本和效率
多篇研究论文正在探索优化大型语言模型（LLM）中多智能体工作流的方法，通过根据成本和能力智能地将任务路由到不同的模型层级。InFlowOp和MoFlow分别专注于无标签的成本优化和多目标生成。Planner-as-Router (PaR)和AgentRouter通过将模型选择直接集成到规划过程中来解决这个问题，目标是与仅使用前沿模型相比，显著降低成本。这些方法有望通过动态匹配任务复杂性与适当的模型层级，使LLM智能体系统更高效、更具成本效益。
-
新的决策 Transformer 优化无人机机队调度以平衡能源和延迟
研究人员开发了 PrefDT，这是一种新颖的、受偏好条件约束的决策 Transformer，专为移动边缘计算 (MEC) 环境中运行的无人机 (UAV) 机队的多目标调度而设计。该系统旨在优化能源消耗和延迟之间的权衡，允许单个训练模型根据期望的性能点在运行时动态调整调度。PrefDT 利用注意力池化进行状态摘要，并包含一个蒸馏管道来生成训练数据，在模拟中表现优于其他 26 种方法，即使在飞行中推进成本增加的情况下，也能将能源预算保持在…
-
新的MOBO方法解耦收敛与发散，以改进优化效果
研究人员提出了一种名为“先收敛后发散”（CTD）的多目标贝叶斯优化（MOBO）新方法。该方法将优化过程解耦为两个不同的阶段：首先关注收敛到帕累托前沿上的单一点，然后转向发散以将解分布到整个前沿。CTD在评估预算有限或高维问题的情况下尤其有效，在绝大多数测试案例中表现优于最先进的方法。
-
研究发现：智能手机上的边缘AI推理不如云端可持续
一项发表在arXiv上的新研究调查了在移动设备上运行大型语言模型（LLMs）对环境的影响，挑战了边缘AI比基于云的推理更具可持续性的假设。研究发现，与服务器批量推理相比，设备上的LLM推理的能源效率大约低三倍。此外，研究表明，考虑到完整的生命周期，本地推理并不比云推理更环保，因为设备本身的碳排放占了大部分影响。
-
Bluesky 用户发布 Fugu Max 和 Fugu Ultra v2 模型
Bluesky 用户 hardmaru 发布了 Fugu Max 和 Fugu Ultra v2，旨在优化 AI 模型，使其在多个维度上表现出色，而不仅仅是尺寸和成本。这些新模型被提出作为一种超越行业十年来仅关注构建更大、更昂贵 AI 系统的途径。此次发布强调智能并非单一、同质的特征。
-
新的“进化汤”框架增强了大模型的多目标对齐能力
研究人员推出了一种新颖的专家混合（mixture-of-experts）框架“进化汤”（Evolutionary Soups），旨在增强大型语言模型（LLM）的多目标对齐能力。该方法利用经过进化算法训练的逐层门控网络，在推理时动态调整专家合并系数。实验表明，“进化汤”通过实现比现有方法更好的超体积（hypervolume）、线性效用（linear utility）和切比雪夫效用（Tchebyshev utility），显著提高了可控生成能力。
-
Qwen模型在效率方面引领开源AI，预示着更稀疏的未来
据报道，Qwen模型在总参数量和活跃参数量方面均处于开源模型的前沿，达到了帕累托最优。这表明未来可能出现更稀疏、更强大、更快的AI模型，这可能由n-gram等技术进步驱动。讨论还触及了对更经济实惠的硬件和运行这些日益高效模型的改进软件的期望。
-
新的LLM框架增强科学方程发现
研究人员开发了MOT-SR，一个利用大型语言模型进行科学方程发现的新框架。该方法通过集成外部分析工具来揭示变量依赖关系并指导方程生成，从而解决了现有方法的局限性。MOT-SR通过维护动态帕累托前沿，联合优化准确性、复杂性和泛化能力，在标准任务中表现优于当前方法，并在EMRI轨道动力学等复杂科学建模中展现出有效性。
-
新的 XAI 框架 PGDS 增强了多目标优化的可解释性
研究人员推出了一种新的可解释人工智能（XAI）框架——分区引导距离显著性（PGDS），旨在提高多目标优化问题的可解释性。PGDS 通过一个三阶段的管道来解决帕累托前沿的复杂性，该管道将决策空间中的几何距离映射到目标空间。它通过划分目标景观来自动化目标选择，并根据决策变量对解位置的敏感性将其识别为“驱动因素”或“阻碍因素”。在基准测试和工程问题上的验证表明，PGDS 提供了超越传统方法的切实可行的见解。
-
元强化学习框架利用进化进行供应链优化
研究人员开发了一种新颖的元强化学习框架，该框架利用进化搜索来改进复杂组合问题（如供应链管理）中的多目标优化。该方法维护一个元策略种群，每个策略都通过基于梯度的方法进行训练，并通过进化技术进行优化。该框架在具有经济、环境和社会目标的供应链场景中进行了测试，通过生成更多样化且分布更佳的帕累托前沿近似、增强跨任务适应性以及与现有方法相比在超体积和豪斯多夫距离方面取得显著改进，从而展示了卓越的性能。
-
Extrapolative Weight Averaging Extends Code RL Frontiers
研究人员探索了外插权重平均法，作为一种在代码生成强化学习中扩展竞争目标帕累托前沿的方法。通过训练具有嵌套单元测试覆盖率的检查点，他们观察到一个正确性-效率前沿，其中覆盖率的提高会改善优化但降低正确性，而解决率保持不变。在训练端点之外进行外插成功地扩展了这个前沿，证明了其在不同推理设置和模型规模（32B和7B参数）上的效用。该技术在用于集成时，将LCB/hard上的pass@250提高了3.3%。
-
SURF方法改进多目标优化中的帕累托前沿覆盖率
研究人员开发了一种名为SURF（Sampling Uniformly along the PaReto Front）的新方法，以应对多目标优化中的挑战。SURF旨在生成具有帕累托前沿（Pareto front）均匀覆盖率的多样化解决方案，而这是标准权重采样技术通常无法达到的目标。该方法分析了标量化权重与解决方案覆盖率之间的几何关系，并提出了一条选择权重的原则性规则，以确保均匀分布。SURF在包括多目标LLM对齐在内的各种应用中，已成功…
-
新分析量化了MOEA对多值决策变量的运行时
研究人员发布了对处理具有两个以上可能值的决策变量的多目标进化算法（MOEA）的新的数学分析。该研究侧重于SEMO算法，并为计算r值基准问题的帕累托前沿所需的函数评估次数提供了上限和下限。研究结果表明，与二元变量相比，这些经典的MOEA在处理多值变量时面临的挑战并没有显著更大。
-
新的非光滑集梯度上升方法优化多目标函数
研究人员开发了一种新颖的非光滑集梯度上升方法来改进多目标优化。该技术通过优化分层集指标来完善有限逼近集，这些指标在连续的非支配层上进行评估并与递减权重相结合。该方法为非支配点和支配点都提供了上升方向，防止了更深层掩盖主前沿的恶化。该方法通过数值示例和可复现的代码详细介绍了二维和三维目标场景。
-
新框架描绘算法公平性与性能的权衡曲线
研究人员开发了一个框架，用于理解算法决策系统中模型性能与公平性之间的权衡。他们的工作将决策过程概念化为一个多目标优化问题，同时考虑了决策者效用和群体公平性。研究结果表明，代表最优权衡的帕累托前沿可能涉及确定性的、特定群体的阈值规则，并且在某些情况下，根据所使用的公平性指标，甚至可能有利于成功概率较低的个体。这些结果独立于具体的算法方法，并为评估和比较算法决策系统提供了原则性基础。