实体
Transformer LLMs
Transformer LLMs
PulseAugur coverage of Transformer LLMs — every cluster mentioning Transformer LLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法使 Transformer LLM 隐藏轴可测量和可控
研究人员开发了一种“语言模型的规范基”（CBLL）方法，该方法转换了 Transformer LLM 的坐标系，使得每个隐藏轴都可以独立测量和控制。这项技术在 Zenodo 论文中进行了详细介绍，并附有 GitHub 存储库，可以分析模型行为，例如识别特定的功能轴及其对困惑度（perplexity）和 MMLU 等性能指标的影响。CBLL 被证明是无损且架构通用的，在不同类型的归一化和 Qwen 2.5 0.5B 和 SmolLM2 …
-
稀疏注意力方法为长上下文 LLM 提供了有效的权衡
一篇题为“稀疏前沿：Transformer LLM 中的稀疏注意力权衡”的新研究论文对 Transformer 模型中的稀疏注意力方法进行了全面分析。该研究是迄今为止对免训练稀疏注意力进行的最大规模的实证分析，评估了跨不同模型系列和大小的六种方法，序列长度高达 128K 个 token，稀疏度高达 0.95。主要发现表明，稀疏注意力是有效的，在同等成本下，较大的稀疏模型优于较小的密集模型。研究还强调，目前在预填充期间进行细粒度的每查询…