实体 SG-TULA

SG-TULA

PulseAugur coverage of SG-TULA — every cluster mentioning SG-TULA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_187163 · Aug 6 · 17:09

新的 SG-TULA 算法为复杂的 AI 模型提供了改进的采样

研究人员开发了次梯度驯服无调整 Langevin 算法 (SG-TULA)，这是一种用于从复杂分布中采样的创新方法，这些分布是不可微、非凸的，并且具有超线性梯度增长。该算法直接在次梯度上运行，避免了计算密集型的平滑过程，并与现有的基于次梯度的 Langevin 算法相比，在 Wasserstein-2 距离上提供了改进的非渐近收敛界限。SG-TULA 已被证明能够有竞争力地预训练 GPT-2 系列的 LLM，表现与微调的 AdamW …