PulseAugur
中
实时 10:04:08
实体 Task Subspace Logit Attribution

Task Subspace Logit Attribution

PulseAugur coverage of Task Subspace Logit Attribution — every cluster mentioning Task Subspace Logit Attribution across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 0
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天

过去 90 天内暂无报道。

主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_14481 ·

    研究人员分析注意力头以理解LLM中的情境学习

    研究人员开发了一个名为任务子空间Logit归因(TSLA)的新框架,用于分析大型语言模型如何执行情境学习。该框架识别出负责识别任务和从中学习的特定注意力头,并展示了它们各自的作用。研究表明,这些已识别的注意力头可以通过对齐模型状态与任务子空间来实现识别,并通过旋转它们来实现预测,从而为各种情境学习机制提供了一个统一的解释。