实体 SHADOW-50M

SHADOW-50M

PulseAugur coverage of SHADOW-50M — every cluster mentioning SHADOW-50M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_252913 · Sep 14 · 13:16

LLM 通过新技术在消费级硬件上实现大规模上下文窗口

研究人员正在开发创新方法，使大型语言模型 (LLM) 能够处理更大的上下文窗口，即使在消费级硬件上也是如此。一种名为 JustFit 的方法使用 KV 压缩和状态管理等技术，在具有 24 GiB RAM 的笔记本电脑上提供 200K 令牌 LLM，实现了超过先前基线 6 倍的上下文。另外，一个 44M 参数的量化 LLM 从头开始训练，模型大小为 19.8 MB，在 CPU 上速度约为 1,900 令牌/秒，展示了推理和状态保持转换的…