实体
Justin Dangel
Justin Dangel
PulseAugur coverage of Justin Dangel — every cluster mentioning Justin Dangel across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
初创公司挑战 Transformer 架构，寻求下一代大语言模型
多家初创公司正在开发大语言模型（LLMs）的新方法，旨在克服当前 Transformer 架构的局限性。这些 Transformer 模型虽然是现代大语言模型的基础，但随着文本长度的增加，计算成本会变得非常高且效率低下，导致能源消耗过大并限制了上下文窗口的大小。这些新兴公司正在探索稀疏注意力（sparse attention）和替代架构等创新方法，以创建更快、更高效、潜力更大的大语言模型。
-
Subquadratic 发布 SubQ LLM，实现单次代码库处理
Subquadratic Inc. 发布了 SubQ，这是一款新推出的长上下文语言模型，声称能够一次性处理整个代码库或文档集。该模型采用了亚二次方稀疏注意力设计，理论上允许计算量与上下文长度呈线性扩展，而非二次方。虽然供应商发布的基准测试在长上下文检索方面显示出有希望的结果，但据报道，与前沿模型相比，其编码能力一般。该模型目前处于私有测试阶段，可通过与 OpenAI 兼容的 REST API 访问，标称上限为 1200 万个 toke…