实体
Kathiravan Palaniappan
Kathiravan Palaniappan
PulseAugur coverage of Kathiravan Palaniappan — every cluster mentioning Kathiravan Palaniappan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
DriftSched 通过自适应调度提高 LLM 推理效率
研究人员开发了 DriftSched，一个旨在提高大型语言模型多租户 GPU 推理效率的框架。该系统通过使用自适应偏差校正将估计误差减少 40% 以上，解决了运行时令牌漂移（实际输出长度偏离初始估计）的挑战。实验表明，最短作业优先 (SJF) 调度策略与 DriftSched 结合使用可显著降低延迟，中位数端到端延迟下降约 42%。该框架还包括一个用于运行时反馈驱动漂移补偿的机制，以及一个用于评估共享 GPU 基础设施上 QoS 感知…
-
新的DEEP-GAP研究比较了NVIDIA T4和L4 GPU的推理性能
一项新的研究论文介绍了DEEP-GAP，一种用于评估GPU推理性能的方法。该研究系统地比较了NVIDIA T4和L4 GPU在各种深度学习模型和精度模式下的表现。结果表明，L4 GPU的吞吐量显著高于T4，尤其是在较小的批处理大小下，而INT8等降低精度的模式相比CPU基线提供了显著的性能提升。