PulseAugur
中
实时 10:30:07
实体 Greater-Than (GT)

Greater-Than (GT)

PulseAugur coverage of Greater-Than (GT) — every cluster mentioning Greater-Than (GT) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_327107 ·

    蒸馏对大型语言模型电路的影响：GPT-2与DistilGPT-2研究

    一项新研究调查了知识蒸馏如何影响大型语言模型的内部机制，具体比较了GPT-2与其蒸馏版本DistilGPT-2。研究使用线性CKA和激活修补等技术发现，虽然DistilGPT-2中的间接宾语识别（IOI）电路功能完全崩溃，但大于（GT）电路在很大程度上得以保留。这种保留归因于一个关键的比较头从GPT-2的第9层重新映射到DistilGPT-2的第4层，这表明特定电路的可压缩性决定了它们在蒸馏过程中的弹性。