PulseAugur
中
实时 14:40:42
实体 BLOOM-560M

BLOOM-560M

PulseAugur coverage of BLOOM-560M — every cluster mentioning BLOOM-560M across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_336226 ·

    新研究探讨 Transformer 注意力机制和 KV 缓存压缩

    两篇新研究论文探讨了更好地理解和优化大型语言模型内部工作机制的方法。第一篇论文引入了投影核(PK)来衡量 Transformer 中注意力头的亲和力,并在 GPT2-small 和 Qwen2-0.5B-Instruct 等模型上证明了其有效性。第二篇论文提出了基于核的插值方法 GAIM 和 Q-DAIM,用于压缩注意力机制的上下文,有望实现更高效的 KV 缓存压缩,并在 LongBench-E 等基准测试中取得与最先进方法相当的性能。

  2. TOOL · CL_268702 ·

    新的FTB Graph方法绘制多语言LLM中的语言电路

    研究人员开发了一种称为FTB Graph的方法来分析多语言大型语言模型的内部工作原理,特别是它们如何决定首先生成哪种语言。该技术使用边缘归因修补(Edge Attribution Patching)和精确激活修补(exact activation patching)来绘制GPT-2、BLOOM-560M、Pythia和Qwen2.5等各种模型中负责此决策的因果电路。研究发现,这些语言身份电路通常位于深层或中深层,并且其结构在预训练期间…