实体 OLMo 1B

OLMo 1B

PulseAugur coverage of OLMo 1B — every cluster mentioning OLMo 1B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_79500 · Jun 8 · 15:17

新方法通过消融实验验证大语言模型电路

研究人员开发了一种新方法，通过聚类注意力头共激活统计数据来发现大语言模型中的电路。这种方法被称为“闭环验证电路发现”，使用因果消融来确认这些已识别的组件组是否确实作为电路运行。该方法已在 Pythia 1B 和 OLMo 1B 等模型上进行了测试，证明了其在识别统计上显著的电路方面的有效性，同时也显示了其在混合专家模型中的局限性。