Mezo
PulseAugur coverage of Mezo — every cluster mentioning Mezo across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的SAZO方法通过自适应样本选择加速LLM微调
研究人员推出了一种名为样本自适应零阶优化（SAZO）的新型方法，用于微调大型语言模型，该方法改进了现有的零阶（ZO）优化技术。与对训练样本进行均匀采样的传统ZO方法不同，SAZO在线自适应地学习样本重要性，将更多查询分配给关键样本以加速收敛。该方法提取梯度范数信息来估计样本重要性，而无需真实梯度，并维护每个样本的移动平均值以跟踪不断变化的样本重要性。实验表明，SAZO在各种模型家族中实现了更快的收敛速度和更优的下游性能。
-
深圳大数据研究院4篇AI研究论文被ICML 2026录用
深圳大数据研究院的四篇研究论文被机器学习顶级国际会议ICML 2026录用。其中两篇论文介绍了大型语言模型的新优化技术：AdaMeZO是一种Adam风格的零阶优化器，可减少微调期间的内存开销；Romberg-ZOGE是一种用于梯度估计中高阶偏差缩减的方法。另一篇论文提出了SCOPE，一个利用云边协同方法分解用户查询的高效视频推理框架。第四篇论文MIMOMamba提出了一种新的状态空间模型，该模型以线性效率联合建模时间依赖性和跨通道交互。
-
单个LLM层主导零阶微调
研究人员发现，在使用零阶（ZO）优化时，微调大型语言模型（LLM）的单个层与微调整个模型一样有效。通过在训练前分析激活值异常值来识别出的这个主导层，在各种任务和模型系列中，其效果始终能媲美甚至超越全模型ZO微调。主导层的有效性源于其高扰动敏感性和在残差流中的早期位置，这使得优化信号能够高效传播。该方法显著加快了速度，实验显示训练速度提高了4.52倍，同时保持或提高了性能。
-
PACZero 实现具有可用效用的 PAC-私有语言模型微调
研究人员开发了 PACZero，一种新颖的大型语言模型微调方法，可提供强大的隐私保证。该方法利用梯度的符号量化来实现一种隐私机制，在这种机制下，成员推断攻击的成功率不高于随机猜测。PACZero 在 SST-2 和 SQuAD 等标准基准测试中表现出具有竞争力的性能，即使在零互信息的情况下，在高隐私设置下也优于先前的方法。
-
新的 MeZO 方法可在无反向传播的情况下实现设备端 AI 微调
研究人员开发了一种名为内存高效零阶优化 (MeZO) 的新方法，用于在边缘设备上微调 AI 模型。该技术绕过了存储传统反向传播方法所需的中间激活和优化器状态的需要。MeZO 使用前向评估来估计梯度，从而使更大的模型能够适应边缘设备的有限内存，尽管微调可能需要更多时间。
-
AdaMeZO优化器通过Adam风格估计减少LLM微调的内存需求
研究人员推出AdaMeZO，这是一种新颖的优化器，旨在提高大型语言模型微调的内存效率。与需要大量GPU内存进行反向传播的传统方法不同，AdaMeZO采用零阶方法。它模仿Adam的动量估计，但没有内存开销，旨在提高现有节省内存的技术（如MeZO）的收敛速度。实验表明，AdaMeZO可以用显著更少的正向传播次数实现更好的性能。