实体
validation loss
validation loss
PulseAugur coverage of validation loss — every cluster mentioning validation loss across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
LLM预训练：领域数据重复的最佳次数与验证损失相关
一篇新的研究论文探讨了在大型语言模型（LLM）预训练过程中，领域特定数据的最佳重复次数。研究发现，随着模型规模的扩大和对更大训练代币预算的需求，高质量领域数据的最佳重复次数会随着模型尺寸的增加而略有增加，这与预期相反。这个最佳重复次数与领域最终验证损失的相关性比与可用唯一数据的量更强。研究结果表明，在较小模型上调整的重复策略可以作为较大模型的实际估计。
-
TechCrunch术语表解读从AGI到validation loss的AI术语
TechCrunch发布了一份人工智能术语表，旨在解读常见的行业术语。该术语表涵盖了从通用人工智能（AGI）到validation loss等一系列概念，旨在帮助用户理解复杂的AI术语。
-
新的Transformer设计分离状态预测以提高效率
研究人员提出了状态预测分离假说，认为在Transformer中区分下一个词预测和状态存储的作用可以提高语言建模性能。一种采用两个独立计算流来执行这些功能的新型Transformer变体，展示了改进的数据和计算效率。实验表明，与标准Transformer相比，这种方法在下游任务上持续降低了验证损失，平均性能提高了2-3个百分点。