实体
Tim Dettmers
Tim Dettmers
PulseAugur coverage of Tim Dettmers — every cluster mentioning Tim Dettmers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LoRA和QLoRA：在消费级GPU上高效微调LLM
本文深入探讨了参数高效微调（PEFT）方法，特别是LoRA和QLoRA，它们使得在单个消费级GPU上训练大型语言模型成为可能。文章解释了LoRA的数学原理，详细说明了它如何冻结预训练权重并引入可训练的低秩适配器矩阵。文章进一步阐述了QLoRA的创新，包括用于4位量化的NormalFloat 4数据类型和双量化，这些技术在不显著损失性能的情况下大大降低了内存需求。
-
研究人员花费 48,000 美元打造 GPU 服务器，发现比云租赁更便宜
一位独立研究人员详细介绍了其耗资 48,000 美元、配备六块 RTX 6000 Ada GPU 的 GPU 服务器“grumbl”的构建过程，以支持其工作。研究人员选择自行构建而非云租赁，并根据其预测的 GPU 利用率和电力支出分析了成本效益。该服务器最初设计用于满足公寓的电力限制，需要专业人士构建以确保安全，但后来被移至地下室并升级了电路。