Zeroth-order optimization with orthogonal random directions
PulseAugur coverage of Zeroth-order optimization with orthogonal random directions — every cluster mentioning Zeroth-order optimization with orthogonal random directions across labs, papers, and developer communities, ranked by signal.
-
ZOTTA 框架使用梯度无关优化进行测试时间自适应
研究人员开发了 ZOTTA，一个新颖的测试时间自适应 (TTA) 框架，它利用梯度无关零阶优化 (ZOO) 来增强模型在分布变化下的鲁棒性。与依赖计算成本高昂的反向传播的传统方法不同，ZOTTA 仅通过前向传播运行，使其兼容不可微分模型并适用于边缘设备。该框架包含分布鲁棒层选择以降低优化维度，以及空间特征聚合对齐以稳定 ZOO 过程。实验证明了 ZOTTA 的有效性，表明它在内存使用量显著减少且在 ImageNet-C 等数据集上提高…
-
新的IPZO架构增强了IMC加速器上的SNN微调
研究人员开发了一种事件触发隐式扰动（IPZO）架构，以提高在内存计算（IMC）加速器上微调脉冲神经网络（SNN）的效率。这种新方法消除了冗余的读-改-写操作，并通过仅为激活的权重生成扰动来减小随机数生成器的硬件占用空间。IPZO架构，特别是采用PGU-XOR方案时，在能耗和面积开销方面与之前的扰动方法相比显著降低，同时实现了与基于软件的方法相当的准确性。
-
新的CAZO方法增强了内存高效的测试时自适应
研究人员开发了一种名为曲率感知零阶优化（CAZO）的新型零阶优化方法，用于内存高效的测试时自适应（TTA）。该方法旨在提高预训练模型在新数据集上的性能，而无需反向传播，使其适用于设备端应用。CAZO利用了在自适应过程中损失函数中持续存在的低秩Hessian结构这一观察结果，来构建协方差矩阵以实现更有效的梯度估计。实验表明，CAZO在准确性和内存效率方面优于现有的TTA方法。
-
QScheduler 算法赋能微控制器上的自适应设备端 AI 训练
研究人员开发了 QScheduler，这是一种自适应算法，旨在优化配备神经网络处理单元 (NPU) 的微控制器上的设备端训练。该方法仅通过前向传播来估计梯度，使其适用于没有反向传播能力的设备并减少内存使用。QScheduler 根据训练进度动态调整梯度样本数量，无需进行昂贵的超参数搜索。在 STM32N6 的 Neural-ART NPU 上的初步实验表明，QScheduler 在 EuroSAT 和 STL-10 等数据集上，对于 …
-
新的TTA方法使用ZOO和模型合并技术，适用于资源受限设备
研究人员开发了一种新的测试时域自适应（TTA）方法，以解决边缘设备的资源限制问题。通过将零阶优化（ZOO）与模型合并集成到跨设备协同TTA框架中，他们的方法绕过了计算密集型反向传播的需求。该方法专为混合了资源丰富和资源受限设备的系统设计，允许在资源受限设备上仅通过前向传播进行模型更新。该技术还包含一种预处理策略，用于修剪非影响性权重并减少模型间的冗余，从而增强ZOO与模型合并之间的协同作用。
-
新型SHIELD-IDS增强了机器学习入侵检测系统对对抗性攻击的防御能力
研究人员开发了SHIELD-IDS，一个增强型入侵检测系统，旨在对抗机器学习模型的对抗性攻击。该系统将XGBoost和LightGBM等梯度提升模型集成到一个多样化的集成模型中，并由三层防御机制保护。实验表明，SHIELD-IDS在干净数据上保持了超过99%的检测准确率，并对常见的对抗性攻击方法表现出更强的鲁棒性。
-
新的 AR1-ZO 方法通过零阶优化提升 LoRA 微调性能
研究人员开发了 AR1-ZO，一种使用零阶优化和低秩适配 (LoRA) 微调大型语言模型的新方法。该技术解决了在不影响 ZO 查询信噪比的情况下有效提高 LoRA秩的挑战。AR1-ZO 通过查询具有拓扑感知缩放的交替秩-1 原子来实现这一点，它可以在不需要额外基或前向传播的情况下恢复秩不变的活动信号。在 OPT 和 Qwen3 模型上的实验表明，AR1-ZO 能够在标准的 ZO 查询预算内实现高秩 LoRA 微调的有效性。