实体
Llama 3B
Llama 3B
PulseAugur coverage of Llama 3B — every cluster mentioning Llama 3B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究人员将Transformer注意力头转换为可执行的Python程序
研究人员开发了一种新颖的方法，将Transformer语言模型中不透明的注意力机制转换为可执行的Python程序。该方法包括分析特定注意力头的注意力矩阵，然后提示预训练语言模型生成复制这些模式的代码。生成的程序可以用来替换神经网络注意力头，对模型性能的影响极小，从而促进神经网络的符号透明度。
-
Untied Ulysses 实现 300 万 token 上下文的大规模 LLM 训练
使用长上下文窗口（例如 300 万 token）训练大型语言模型在 8xH100 节点等硬件上会面临内存限制。研究人员开发了一种名为 Untied Ulysses 的方法来克服这些限制，从而能够以比以往更大的序列规模训练 8B 和 32B 模型。