PulseAugur
中
实时 07:56:39
实体 Kyungmin Bin

Kyungmin Bin

PulseAugur coverage of Kyungmin Bin — every cluster mentioning Kyungmin Bin across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_364318 ·

    JigSLO系统优化共享GPU上的多LLM服务

    研究人员开发了JigSLO,一个旨在优化共享图形处理单元(GPU)上多个大型语言模型(LLM)服务的新颖系统。JigSLO通过将LLM的预填充(prefill)和解码(decode)阶段视为独立实例来解决内存带宽争用问题,从而实现互补的共址(co-location)。这种方法根据受争用和不受争用的时段估算延迟,使系统能够在满足延迟目标的同时最大化吞吐量。在聊天、代码生成和摘要任务的评估中,JigSLO展示了显著的改进,与现有方法相比,…