SignRoundV2

Stateful Transformers 提升流式推理性能；Intel 发布 AutoRound 量化工具包

一篇新论文介绍了一种有状态的 Transformer 推理引擎，通过维护持久的 KV 缓存，显著加快了流式数据的处理速度。这种方法实现了与累积上下文大小无关的查询延迟，在市场数据基准测试中比现有引擎快了 5.9 倍。此外，Intel 发布了 AutoRound，一个用于 LLM 和 VLM 的先进量化工具包，可在超低比特宽度（2-4 位）下实现高精度和广泛的硬件兼容性，并与 vLLM 和 Transformers 等流行框架集成。