linear probing
PulseAugur coverage of linear probing — every cluster mentioning linear probing across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探讨视觉基础模型的高效微调与压缩
近期 arXiv 上的两篇论文探讨了提高大型视觉基础模型效率的方法。第一篇论文由 Niclas Hergenröther 撰写，研究了视觉提示（VP）、线性探测（LP）、全微调（FFT）和低秩适配（LoRA）等数据高效微调技术，并比较了它们在不同模型架构（包括基于 Attention、Convolution 和 Mamba 的模型）上的性能。第二篇论文介绍了一个拓扑感知的离散化框架，使用生长神经网络气体码本和图引导掩码图像建模来压缩视…
-
大语言模型训练：词性对概念增强有效性的影响
一篇新的研究论文探讨了词语的词性（POS）如何影响大型语言模型（LLMs）训练后阶段的概念增强的有效性。研究发现，虽然概念增强通常能提高困惑度，尤其是在新闻数据上，但动词始终能带来最显著的下游性能提升。有趣的是，使用 CKA 和线性探针进行的表征分析表明，最大的下游改进并不总是与模型内部表征最显著的改变相关联，这表明概念信息的引入方式及其对大语言模型性能的影响之间存在复杂的关联。
-
新的神经网络提前停止规则可绕过训练
研究人员开发了一种新的、依赖数据的神经网络训练提前停止规则，该规则可以解析地估计泛化误差，从而无需通过梯度下降进行数值估计。这个新颖的框架基于具有L1范数的Rademacher复杂度，为依赖随机矩阵理论且通常对数据分布做出限制性假设的现有方法提供了一种替代方案。该方法最初专注于线性模型，但通过线性探测可以扩展到非线性神经网络，如在MNIST分类示例中所示。
-
LLM 激活揭示文本中的概念内容，优于表面分析
研究人员开发了一种新方法，通过分析大型语言模型 (LLM) 的激活来衡量文本中的概念内容，而不仅仅是表面词语的使用。该方法利用线性探测和递归特征机 (RFM) 算法，旨在捕捉 LLM 的内部知识。当应用于涉及环境、社会和治理 (ESG) 因素的金融文本时，线性探测方法在没有任何特定任务训练的情况下，实现了接近微调分类器的准确率。
-
新框架将推荐基础模型与业务指标对齐 · 跟踪 2 个来源
研究人员开发了一种新颖的三阶段后训练框架，以更好地将推荐基础模型与业务指标对齐。这种渐进式方法将下游适应（使用线性探测和完全微调）与通过带有学习奖励模型的强化微调进行的业务指标对齐分开。实验表明，这种多阶段方法优于单阶段替代方案，并在大规模在线测试中提高了推荐质量。
-
大语言模型难以解码主流传统之外的神话知识
一项新的研究论文调查了 18 个开源大语言模型如何体现和解码神话知识。研究发现，虽然模型可以体现关于宙斯、朱庇特和索尔等神祇的知识，但它们在一致地识别芬兰、斯拉夫、埃及或中国传统等代表性较低的神话中的对应神祇方面存在困难。研究表明，这种失败发生在解码或读出阶段，而不是在初始体现阶段，并且受到提示中使用的语言的影响。
-
新的最优自蒸馏方法改进了生成模型训练
研究人员为流（RF）模型开发了一种称为最优自蒸馏（SD）的方法，旨在改进生成模型训练。该技术涉及在真实 RF 速度和次优教师速度的混合物上训练学生模型。该研究提供了一个理论框架，推导了一个最优混合系数和一个避免广泛网格搜索的验证程序。实验表明，与现有方法相比，这种最优自蒸馏提高了速度估计、模式恢复和生成准确性。
-
研究发现：大型语言模型线性编码作文质量表征
研究人员调查了大型语言模型（LLMs）如何在内部表征作文质量，发现这些信息以一种线性可访问的形式编码在模型的表征中。这些信息在不同层级中逐步涌现，并且在不同的提示策略下保持稳健，甚至在不同的作文提示和评分标准之间部分转移。该研究还识别出与作文分数强相关的特定神经元，并且其行为对干预敏感，从而为理解基于LLM的自动作文评分系统的可解释性提供了新见解。