PulseAugur
中
实时 07:13:11
实体 log-alignment ratio

log-alignment ratio

PulseAugur coverage of log-alignment ratio — every cluster mentioning log-alignment ratio across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_58895 ·

    新指标在训练期间跟踪模型泛化

    研究人员引入了对数对齐比率（LAR），这是一种旨在诊断机器学习模型训练期间泛化的指标。LAR量化了模型参数和激活之间的对齐，被重新表述为权重和激活谱之间的重叠。该指标已证明其在各种环境中跟踪从记忆到泛化的过渡的能力，包括预测在grokking现象中学习到的函数的有效维度，以及与大型语言模型预训练中的泛化差距相关。