实体 SinkState

SinkState

PulseAugur coverage of SinkState — every cluster mentioning SinkState across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_352277 · Nov 11 · 05:00

SinkState 通过自适应低秩状态优化混合 LLM 服务

研究人员开发了 SinkState，一种优化混合大型语言模型 (LLM) 服务的新颖方法。该技术通过以自适应低秩形式存储循环状态来解决当前系统的低效率问题，从而减少内存使用并加快解码速度。SinkState 在不影响准确性的情况下实现了显著的性能提升，包括循环状态峰值内存减少高达 2.6 倍，解码速度提升高达 1.58 倍。