实体 SCULT INDIA

SCULT INDIA

PulseAugur coverage of SCULT INDIA — every cluster mentioning SCULT INDIA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

模型发布 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_238711 · Sep 6 · 15:48

QLoRA 微调：揭示 LLM 的关键超参数

GenAI 工程师 Pranjul Rathour 分享了优化 QLoRA 超参数以微调大型语言模型 (LLM) 的见解。他强调，秩 (r) 和 alpha 对于适配器容量和扩展至关重要，建议大多数任务的 r=8-16，复杂任务可高达 64，alpha 通常设置为 2*r。Rathour 还建议包含 MLP 层以及注意力投影以获得更好的结果，并建议学习率在 1e-4 到 2e-4 之间，并进行短暂预热。轮次数量应根据数据集大小进行调整…