实体
Zhengjiang Lin
Zhengjiang Lin
PulseAugur coverage of Zhengjiang Lin — every cluster mentioning Zhengjiang Lin across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究论文详述扩散模型中常微分方程求解器的快速收敛
一篇新的研究论文探讨了高阶常微分方程（ODE）求解器应用于扩散概率模型时的收敛特性。该研究由郑江林（Zhengjiang Lin）撰写，介绍了并分析了 $p$ 阶龙格-库塔（Runge-Kutta）方案，并在假设分数函数导数有界的情况下证明了其有效性。研究结果表明，生成分布与目标分布之间的总变差距离可以被有效界定，数值实验支持了这些方法的实际应用性。
-
新研究探讨长上下文模型中的Transformer不稳定性
近期两篇arXiv论文深入探讨了长上下文Transformer的训练挑战。第一篇论文识别出一种称为秩崩溃（rank-collapse）的根本性病理，即随着上下文长度的增加，注意力分数变得均匀化，并提出使用$\\log n$的关键因子进行“注意力缩放”（attention scaling）以维持自适应注意力。第二篇论文将长序列Transformer的训练不稳定性，尤其是在低精度算术下，归因于密集局部依赖。该论文认为，这些依赖会导致“注意…