实体
Huzaifa Shaaban Kabakibo
Huzaifa Shaaban Kabakibo
PulseAugur coverage of Huzaifa Shaaban Kabakibo — every cluster mentioning Huzaifa Shaaban Kabakibo across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SelectInfer框架赋能高效大语言模型在边缘设备的部署
研究人员开发了SelectInfer，一个旨在提高大语言模型（LLMs）在边缘设备上部署效率的新型框架。该系统通过选择性地加载和计算最相关的神经元，在神经元层面优化LLMs，显著降低了内存和计算需求。评估表明，SelectInfer在保持任务性能的同时，能够大幅减少资源使用，为LLMs在能力受限设备上的广泛应用铺平了道路。
-
新研究论文分析 vLLM 启动延迟
一篇新研究论文分析了 vLLM（一种流行的大型语言模型推理引擎）的冷启动延迟。该研究将启动过程分解为六个步骤，认为其主要受 CPU 限制，并详细说明了各种参数如何影响性能。研究人员开发了一个分析模型来预测 vLLM 的启动延迟，为大规模推理环境中的资源规划提供指导。所有相关数据集和工具均已开源。