Taylor Expansion
PulseAugur coverage of Taylor Expansion — every cluster mentioning Taylor Expansion across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架可根据SFT前参数预测SFT后模型行为
研究人员开发了一个新颖的框架，仅使用SFT前参数即可预测监督微调（SFT）后模型的机制。这种前瞻性方法解决了传统可解释性方法的局限性，这些方法通过回顾性分析模型可能导致误导性结论。通过将SFT建模为连续的参数演变并采用泰勒展开，该框架准确估计了SFT后的可解释性状态，从而更有效地指导SFT。实验表明，该方法改进了SFT指导，表现出稳健的性能，并能随模型规模扩展，开创了一种将可解释性与目标优化相结合的预测方法。
-
新的FADEx方法解释机器学习中的降维技术
研究人员推出了一种新的降维技术解释方法FADEx。FADEx通过使用泰勒展开和奇异值分解来近似局部线性模型，从而提供局部、每个实例的特征归因。该方法不依赖于特定的降维技术，并提供特征归因和失真分析，在评估中优于现有方法。
-
新的TaylorPODA方法增强了AI模型归因
研究人员推出了一种新方法TaylorPODA，用于改进AI系统中的事后模型无关局部归因。这种新方法基于泰勒展开框架，并形式化了归因特征贡献的要求。TaylorPODA通过引入一个可控的泰勒交互效应机制，解决了原则性归因与适应用户定义效用之间的根本性矛盾。该方法还提供了Harsanyi红利解释，将其适用性扩展到可微模型之外，并且实证结果表明，在保持解释可沟通性的同时，与用户目标的对齐度得到了提高。
-
新研究推动机器学习中的差分隐私发展
研究人员开发了增强机器学习中差分隐私的新方法，特别是在去中心化和因果结构学习方面。一种名为DPDL的方法，使用基于相似性的校准技术和高斯噪声来保护非IID数据上的去中心化学习的隐私，实现了线性加速。另一种方法利用全同态加密（FHE）对加密数据进行因果结构学习计算，通过电路简化和近似来管理FHE的计算成本。此外，一种基于快速变换的新型DP草图机制为DP线性回归提供了更快的运行时间，而具有相关噪声的局部差分隐私模型表明，在不牺牲效用的情况…
-
新论文强调AI模型解释中基线被忽视的问题
研究人员发现当前模型解释技术中存在一个关键的疏忽：基线被忽视。该论文认为，忽略基线会导致对AI模型解释不准确或存在缺陷。作者提出了一种重新构建的模型解释方法，统一了诸如基于梯度技术和泰勒展开等现有方法，并为每种方法明确定义了基线。他们提倡使用一种基于归因误差的新评估指标，并引入了一种通过纳入清晰基线而取得更好结果的改进解释方法。