observed richness

GPT-2 自训练改变词语主导地位和熵分布

研究人员探索了递归自训练对语言模型的影响，特别是对 GPT-2 模型在其自身输出上进行多代微调。他们观察到，随着训练温度的升高，信息熵的不同度量（如最小熵和碰撞熵）在不同的温度点上从损失转变为增益。这个过程导致独特词语类型的数量减少，同时降低了最常用词语的主导地位。研究发现，这种熵变化的排序在各种设置下是一致的，包括不同的度量采样器、词语预算，甚至在对人类文本进行微调时也是如此，这表明熵分布应与独立的质量度量一起报告。