实体
indirect-object identification
indirect-object identification
PulseAugur coverage of indirect-object identification — every cluster mentioning indirect-object identification across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
在仅注意力Transformer中发现了用于间接宾语识别的最小电路
研究人员在仅注意力Transformer中识别出了负责间接宾语识别（IOI）的最小计算电路。通过从头开始在符号IOI任务上训练小型单层模型，他们发现仅需两个注意力头即可达到完美的准确率，即使没有MLP或归一化层。进一步分析表明，这些注意力头会专门化为加法和对比子电路，协同工作以解决IOI问题，这表明特定任务的训练可以在Transformer中诱导出高度可解释且最小化的推理电路。
-
研究将涌现式AI能力与稀疏注意力模式学习联系起来
一篇新的研究论文提出，Transformer语言模型中的涌现能力源于对稀疏注意力模式的随机学习。研究表明，当模型学习到相关的注意力模式时，诸如模式补全和间接宾语识别等能力会突然出现。学习这些模式的难度受上下文长度和稀疏性的影响，扩展注意力头可以提高效率，而MLP-Mixer在特定任务上显示出潜力。