PulseAugur
中
实时 12:25:16
实体 mean-field continuity equation

mean-field continuity equation

PulseAugur coverage of mean-field continuity equation — every cluster mentioning mean-field continuity equation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_336446 ·

    研究量化了大型语言模型中Transformer的浓度现象

    一篇新的研究论文探讨了用于大型语言模型和基础模型中的Transformer的浓度现象。该研究聚焦于推理时的仅编码器Transformer,并使用均场连续方程在大token限制下描述其行为。研究人员证明,token分布会快速集中并在中等时间内保持亚稳态,其Wasserstein距离根据温度和推理时间进行缩放。研究结果表明,对于与实际有限深度模型相关的时标而言,token分布会集中到一个极限分布,尽管数值实验表明在有限温度和大推理时间下存…