实体
Shuyang Xiang
Shuyang Xiang
PulseAugur coverage of Shuyang Xiang — every cluster mentioning Shuyang Xiang across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新定理解释了大型语言模型如何随着时间推移忘记提示
研究人员开发了一个理论框架,称为“条件无毛定理”,以解释大型语言模型如何随着时间推移忘记其提示。研究发现,提示对Transformer模型的影响会随着幂律衰减,经过训练的模型比未经训练的模型遗忘得更快。这种现象归因于注意力机制稀释了提示的影响以及生成文本的增长,理论界限表明,在生成文本的条件下,提示的影响会渐近消失。还提供了一个用于衡量Hugging Face模型中遗忘率的工具包。
-
视觉字形加速中文语言模型训练
研究人员发现,将中文字符渲染为视觉字形,而不是离散的标记ID,可以显著加速语言模型的早期学习。这种“热启动”效应在第一个时期内将准确性提高了一倍多,尽管两种方法最终都会收敛到相似的最终性能。视觉输入预编码了结构信息,从而实现了更快的对齐,但并未提高最终容量,这表明该方法对于中文语言建模存在根本性限制。