PulseAugur
中
实时 17:05:44
实体 Stateful Transformers

Stateful Transformers

PulseAugur coverage of Stateful Transformers — every cluster mentioning Stateful Transformers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-05-13 research_milestone A new paper introduces an efficient streaming inference method for transformers.
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_09107 ·

    Stateful Transformers 提升流式推理性能；Intel 发布 AutoRound 量化工具包

    一篇新论文介绍了一种有状态的 Transformer 推理引擎，通过维护持久的 KV 缓存，显著加快了流式数据的处理速度。这种方法实现了与累积上下文大小无关的查询延迟，在市场数据基准测试中比现有引擎快了 5.9 倍。此外，Intel 发布了 AutoRound，一个用于 LLM 和 VLM 的先进量化工具包，可在超低比特宽度（2-4 位）下实现高精度和广泛的硬件兼容性，并与 vLLM 和 Transformers 等流行框架集成。