实体
linear probing
linear probing
PulseAugur coverage of linear probing — every cluster mentioning linear probing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
大语言模型难以解码主流传统之外的神话知识
一项新的研究论文调查了 18 个开源大语言模型如何体现和解码神话知识。研究发现，虽然模型可以体现关于宙斯、朱庇特和索尔等神祇的知识，但它们在一致地识别芬兰、斯拉夫、埃及或中国传统等代表性较低的神话中的对应神祇方面存在困难。研究表明，这种失败发生在解码或读出阶段，而不是在初始体现阶段，并且受到提示中使用的语言的影响。
-
新的最优自蒸馏方法改进了生成模型训练
研究人员为流（RF）模型开发了一种称为最优自蒸馏（SD）的方法，旨在改进生成模型训练。该技术涉及在真实 RF 速度和次优教师速度的混合物上训练学生模型。该研究提供了一个理论框架，推导了一个最优混合系数和一个避免广泛网格搜索的验证程序。实验表明，与现有方法相比，这种最优自蒸馏提高了速度估计、模式恢复和生成准确性。
-
研究发现：大型语言模型线性编码作文质量表征
研究人员调查了大型语言模型（LLMs）如何在内部表征作文质量，发现这些信息以一种线性可访问的形式编码在模型的表征中。这些信息在不同层级中逐步涌现，并且在不同的提示策略下保持稳健，甚至在不同的作文提示和评分标准之间部分转移。该研究还识别出与作文分数强相关的特定神经元，并且其行为对干预敏感，从而为理解基于LLM的自动作文评分系统的可解释性提供了新见解。