实体
Cosmo Santoni
Cosmo Santoni
PulseAugur coverage of Cosmo Santoni — every cluster mentioning Cosmo Santoni across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新系统虚拟化 LLM 记忆,将 token 数量减少高达 86%
研究人员开发了一个名为上下文记忆虚拟化 (CMV) 的新系统,用于管理大型语言模型 (LLM) 在扩展推理任务中累积的不断增长的状态。CMV 将 LLM 理解视为版本控制的状态,类似于操作系统虚拟内存,并使用有向无环图 (DAG) 结构。这使得通过快照、分支和修剪的原始操作进行高效的状态管理成为可能。一种新颖的三遍修剪算法通过移除机械性臃肿同时保留所有用户消息和助手响应的原文,将 token 数量平均减少 20%,在某些情况下高达 8…
-
Compiler-first duality enables portable O(1) Mamba-2 inference
研究人员开发了一种优化 Mamba-2 推理的新方法,重点关注编译器优先的状态空间对偶性。这种方法实现了具有 $O(1)$ 复杂度的便携式自回归缓存,无需自定义 CUDA 或 Triton 内核。最终的单源推理路径在 JAX 中实现,在 Google Cloud TPU 和 NVIDIA GPU 上展示了显著的加速,实现了高硬件利用率并匹配了参考困惑度分数。