Straight-Through Estimator
PulseAugur coverage of Straight-Through Estimator — every cluster mentioning Straight-Through Estimator across labs, papers, and developer communities, ranked by signal.
-
新的StoMPP方法改进了二值神经网络的训练
研究人员推出了一种新颖的二值神经网络（BNN）训练方法StoMPP（Stochastic Masked Partial Progressive Binarization，随机掩码部分渐进式二值化），该方法避免了在使用直通估计器（STE）时通常会遇到的更深层网络精度下降问题。StoMPP从输入到输出逐渐二值化网络层，在ResNet-50、MobileNetV2和BERT等各种架构中提供了显著的精度提升，即使在不使用STE的情况下也是如此…
-
新的CAGE方法提高了AI模型量化的准确性
研究人员推出了一种新颖的量化感知训练（QAT）方法CAGE（Curvature-Aware Gradient Estimation），旨在缩小量化模型与原生训练模型之间的准确性差距。CAGE通过引入一个源自多目标优化视角、平衡损失最小化与量化约束的弯曲感知校正项，来增强直通估计器（STE）。该方法在准确性方面取得了显著改进，在微调场景下将压缩准确性损失减半，并在应用于Llama模型时，实现了与先前4位方法相当的3位量化准确性。
-
欺骗的衡量：对机器学习遗忘中数据伪造的分析
两篇新研究论文探讨了机器学习遗忘中的漏洞和检测方法。机器学习遗忘旨在从训练模型中删除特定数据以符合隐私规定。其中一篇论文“DurableUn”揭示，即使模型通过了标准的隐私审计，低比特量化仍可能无意中恢复被遗忘的数据。另一篇论文“The Measure of Deception”则提出了一个分析和检测“伪造”（即在未实际删除数据的情况下模仿遗忘的对抗性尝试）的框架，并指出这种欺骗在根本上是有限的。
-
研究人员通过双层优化学习单像素成像的二值采样模式
研究人员开发了一种新颖的双层优化方法来学习单像素成像的二值采样模式。该方法旨在提高重建质量和采集速度，尤其是在欠采样的情况下。该方法利用直通估计器来处理二值优化不可微的性质，并结合学习到的变分正则化以增强鲁棒性。在 CytoImageNet 显微镜数据集上的实验表明，与现有方法相比，该方法具有优越的性能，尤其是在数据稀疏的条件下。