实体
ternary LLMs
ternary LLMs
PulseAugur coverage of ternary LLMs — every cluster mentioning ternary LLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 SSR 方法加速三元 LLM 推理
研究人员开发了稀疏分段归约（SSR）方法，这是一种加速三元大型语言模型（LLM）推理的新方法。该方法优化了三元权重（使用三元值压缩且通常具有高稀疏性）的矩阵乘法。SSR 引入了专用的三元数据格式和利用计算树稀疏性模式的算法，与 RSR++ 等现有方法相比，在理论和实践上都实现了加速。
-
LLM 通过新技术在消费级硬件上实现大规模上下文窗口
研究人员正在开发创新方法，使大型语言模型 (LLM) 能够处理更大的上下文窗口，即使在消费级硬件上也是如此。一种名为 JustFit 的方法使用 KV 压缩和状态管理等技术，在具有 24 GiB RAM 的笔记本电脑上提供 200K 令牌 LLM，实现了超过先前基线 6 倍的上下文。另外，一个 44M 参数的量化 LLM 从头开始训练，模型大小为 19.8 MB，在 CPU 上速度约为 1,900 令牌/秒，展示了推理和状态保持转换的…
-
三进制大语言模型在20亿参数处停滞，前沿实验室绕过该方法
三进制大语言模型（使用三值系统表示权重）曾展现出早期潜力，但并未获得显著发展。目前可用的最大三进制模型仅为20亿参数，主要人工智能实验室也未采用此方法。尽管该架构具有潜在优势，但其停滞不前的原因尚不清楚。