实体
large pre-trained models
large pre-trained models
PulseAugur coverage of large pre-trained models — every cluster mentioning large pre-trained models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 SVGD 框架通过几何感知增强 AI 模型微调
研究人员开发了一个新的框架，用于大型预训练模型的参数高效微调，该框架利用了低秩流形的几何结构。该方法在 Stiefel 流形上利用 Stein 变分梯度下降 (SVGD)，实现了不确定性量化和更校准的适配器。实验表明，与在欧几里得空间中运行的现有方法相比，这种几何感知的 SVGD 方法实现了更高的预测精度。
-
TreeLoRA为大型模型提供高效的持续学习
研究人员推出TreeLoRA，一种用于大型预训练模型高效持续学习的新方法。该方法利用由分层梯度相似性树组织的层级低秩适配器（LoRA），在适应新任务的同时保留现有知识。为了管理计算需求，TreeLoRA采用基于老虎机（bandit）的技术进行任务相似性估计和稀疏梯度更新，使其适用于计算机视觉和自然语言处理等领域的大型模型。