研究人员开发了 IG-Lens，一种用于在仅解码器的 Transformer 模型中精确归因预测 token 概率到特定层的新颖方法。与提供近似或有偏估计的现有工具不同，IG-Lens 使用望远积分梯度在概率空间中提供精确的加性分解。这种方法考虑了 softmax 非线性，确保跨层的归因总和精确匹配预测概率的总变化。 AI
影响 提供了一种更准确的方法来理解模型的内部行为，可能有助于调试和可解释性。
排序理由 该集群包含一篇详细介绍分析 Transformer 模型新方法的 ist 论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
