Zeroth-order optimization with orthogonal random directions
PulseAugur coverage of Zeroth-order optimization with orthogonal random directions — every cluster mentioning Zeroth-order optimization with orthogonal random directions across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
QScheduler 算法赋能微控制器上的自适应设备端 AI 训练
研究人员开发了 QScheduler，这是一种自适应算法，旨在优化配备神经网络处理单元 (NPU) 的微控制器上的设备端训练。该方法仅通过前向传播来估计梯度，使其适用于没有反向传播能力的设备并减少内存使用。QScheduler 根据训练进度动态调整梯度样本数量，无需进行昂贵的超参数搜索。在 STM32N6 的 Neural-ART NPU 上的初步实验表明，QScheduler 在 EuroSAT 和 STL-10 等数据集上，对于 …
-
新的TTA方法使用ZOO和模型合并技术，适用于资源受限设备
研究人员开发了一种新的测试时域自适应（TTA）方法，以解决边缘设备的资源限制问题。通过将零阶优化（ZOO）与模型合并集成到跨设备协同TTA框架中，他们的方法绕过了计算密集型反向传播的需求。该方法专为混合了资源丰富和资源受限设备的系统设计，允许在资源受限设备上仅通过前向传播进行模型更新。该技术还包含一种预处理策略，用于修剪非影响性权重并减少模型间的冗余，从而增强ZOO与模型合并之间的协同作用。
-
新型SHIELD-IDS增强了机器学习入侵检测系统对对抗性攻击的防御能力
研究人员开发了SHIELD-IDS，一个增强型入侵检测系统，旨在对抗机器学习模型的对抗性攻击。该系统将XGBoost和LightGBM等梯度提升模型集成到一个多样化的集成模型中，并由三层防御机制保护。实验表明，SHIELD-IDS在干净数据上保持了超过99%的检测准确率，并对常见的对抗性攻击方法表现出更强的鲁棒性。
-
新的 AR1-ZO 方法通过零阶优化提升 LoRA 微调性能
研究人员开发了 AR1-ZO，一种使用零阶优化和低秩适配 (LoRA) 微调大型语言模型的新方法。该技术解决了在不影响 ZO 查询信噪比的情况下有效提高 LoRA秩的挑战。AR1-ZO 通过查询具有拓扑感知缩放的交替秩-1 原子来实现这一点，它可以在不需要额外基或前向传播的情况下恢复秩不变的活动信号。在 OPT 和 Qwen3 模型上的实验表明，AR1-ZO 能够在标准的 ZO 查询预算内实现高秩 LoRA 微调的有效性。