implicit differentiation
PulseAugur coverage of implicit differentiation — every cluster mentioning implicit differentiation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 arXiv 论文探讨神经网络计算与学习之间的断开
两篇新的 arXiv 论文探讨了神经计算的动力学，重点关注复杂的前向计算与更简单的学习机制之间的分歧。第一篇论文引入了一个“生成-事实图”来统一训练、学习和推理，并展示了一个使用 nanoGPT 和 ResNet 在保留运行中具有高准确率的预测模型。第二篇论文识别出一种“前向-后向断开”，指出虽然神经网络中的前向计算已高度多样化，但学习方法在很大程度上仍围绕反向传播及其变体。两篇论文都表明需要更好地协调这些方面，以实现更具生物学基础和…
-
新的求解器级微分方法增强了可微分仿真
研究人员开发了一种称为求解器级微分的新方法，用于创建可微分仿真。这种方法直接区分已执行的求解器，而不是区分收敛的方程或依赖于内存密集型的展开自动微分。该技术利用块隐式更新的结构，以相反的顺序应用伴随更新，以镜像前向求解器的局部操作。这导致了一种反向扫描公式，其速度和内存效率都比现有方法显著提高，从而能够仿真具有数百万个体的弹性动力学等复杂系统。
-
受神经科学启发的扩散模型解释了视觉皮层推理
研究人员开发了一种新颖的模型，通过扩散模型的视角解释了初级视觉皮层（V1）中的感知推理，从而架起了神经科学和机器学习之间的桥梁。该模型基于具有潜在变量特定先验的稀疏编码，能有效模仿V1中水平连接的结构。在自然图像上训练后，它展现出强大的去噪能力，可与标准扩散架构相媲美，并为循环神经网络如何生成逼真的图像特征提供了机制性见解。
-
新方法使用 GradientSHAP 和 LLM 解释 AI 优化建议
研究人员开发了一种新颖的方法，结合使用 GradientSHAP 和隐式微分来解释过程控制优化建议。该方法将基于隐函数定理 (IFT) 的敏感性分析与 SHAP 归因和通过大型语言模型 (LLM) 生成的叙述相结合，以创建操作员可理解的解释。该技术显著加快了 SHAP 归因的计算速度，在一个具有 22 个特征的工业问题上实现了超过 40 倍的加速，同时与 KernelSHAP 保持了高度相关性。