实体
SlideFormer
SlideFormer
PulseAugur coverage of SlideFormer — every cluster mentioning SlideFormer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
多源详细介绍 LLM 效率、扩展和部署策略
最近的一篇论文在消费级硬件上对本地部署的大型语言模型 (LLM) 的能源效率进行了基准测试，发现除了参数数量之外，模型架构和量化等因素也显著影响能耗。另一项研究介绍了 SlideDP，这是一种新的同步数据并行运行时，旨在有效地跨多个 GPU 扩展全参数 LLM 微调，即使超出 GPU 内存。此外，几篇文章讨论了部署和管理 LLM 的实际方面，包括使用 vLLM 在 Azure AKS 等云服务上构建私有 LLM 平台、在 NVIDIA…
-
新系统支持在单 GPU 上微调 123B+ LLM
研究人员开发了 SlideFormer，一个旨在实现大型语言模型（LLM）在单 GPU 上微调的新颖系统。该系统利用一个轻量级的异步引擎，将 GPU 视为一个滑动窗口，将计算与 CPU 更新和 I/O 重叠。它还包含一个高效的异构内存管理方案和优化的 Triton 内核，以减少峰值内存使用量。这种方法允许在单个 RTX 4090 上微调超过 1230 亿参数的模型，支持显著更大的批次大小和模型，同时提高吞吐量并减少内存消耗。