Elastic Gang

Anima OS 推出 Elastic Gang，实现 CPU 上动态 LLM 推理

一篇新论文介绍了一种名为“Elastic Gang”的新方法，用于在 Anima OS 中的 CPU 上管理大型语言模型 (LLM) 推理。该系统允许分配给 LLM 推理的核心数量在处理每个 Token 之间动态变化，这与需要固定核心集数的传统方法不同。这种动态调整旨在通过允许通用操作系统进程在 LLM 未主动使用核心时利用它们，同时避免死锁或数据损坏，从而提高整体系统吞吐量。