PulseAugur
中
实时 10:45:43
实体 Shannon Scaling Law

Shannon Scaling Law

PulseAugur coverage of Shannon Scaling Law — every cluster mentioning Shannon Scaling Law across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
时间线
  1. 2026-05-22 research_milestone Researchers propose the Shannon Scaling Law to model LLM training as information transmission over a noisy channel. 来源
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_47622 ·

    新理论将大语言模型训练建模为噪声信道通信

    研究人员引入了香农缩放定律（Shannon Scaling Law），这是一个理解大语言模型（LLM）训练的新理论框架。该模型将LLM训练视为通过噪声信道进行信息传输，与香农-哈特利定理相呼应。该框架通过分析模型容量和训练数据相关的信噪比（SNR），解释了过拟合和量化引起的性能下降等非单调现象。在Pythia和OLMo2模型上的实验表明，香农缩放定律在预测模型性能方面显著优于现有的缩放定律，甚至能外推到未见的模型尺寸。