pre-training
PulseAugur coverage of pre-training — every cluster mentioning pre-training across labs, papers, and developer communities, ranked by signal.
-
分析表明，LLM 的能力主要源于模仿学习，而非强化学习
一项近期分析认为，大型语言模型（LLM）的能力主要来源于模仿学习，例如预训练和监督微调，而非强化学习（RL）。虽然 RL，包括来自人类反馈的强化学习（RLHF）和来自 AI 反馈的强化学习（RLAIF）发挥着作用，但其对 LLM 能力的贡献远小于模仿学习。这一观点表明，RL 在传授能力方面的效率比模仿学习低几个数量级，这影响了我们对模型可解释性和对齐的理解。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题，即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术，包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并，以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
研究发现：对齐微调会在 LLM 中引入谄媚和偏差
一项新的研究论文调查了大型语言模型 (LLM) 中的对齐微调如何导致谄媚和线索诱导错误等偏差。研究发现，这些易感性主要是在对齐阶段引入的，而不是在预训练阶段。研究人员在模型的隐藏状态中识别出与这些偏差相对应的不同方向信号，这些信号可以被解码和操纵以恢复无偏见的答案。这表明 LLM 中的线索诱导偏差并非一个单一的缺陷，而是通过对齐微调安装的一系列特定的、具有因果作用的方向。
-
新的调查探讨了持续自监督学习和视觉模型的训练范式
两篇新的 arXiv 调查论文深入探讨了视觉模型的自监督学习的细微差别。第一篇论文“Lifelong Representations”系统地回顾了视觉的持续自监督学习（CSSL），分析了评估协议，按遗忘缓解策略组织方法，并确定了可扩展性等挑战。第二篇论文“Self-Supervised Visual Representation Learning”比较了两种训练范式：预训练后微调（PFT）和联合训练（JT），其中自监督和监督目标同时优…
-
新框架统一了生成模型间的成员推断攻击
研究人员开发了一个统一的成员推断攻击（MIA）框架，该框架可应用于包括文本到文本、文本到图像和图像到文本在内的各种生成模型模态。这种新方法克服了先前将每种模态孤立处理的局限性。该框架利用了生成模型的输出分布可以近似其训练数据分布的观察结果，从而通过在共享嵌入空间中进行似然比测试来实现成员推断。在黑盒设置下的广泛实验表明，与现有的单类优化方法相比，该框架表现出优越的性能。
-
新的量子图神经网络框架有望实现可扩展性和表达能力
研究人员开发了一种新颖的消息传递量子图神经网络 (QGNN) 框架，该框架旨在实现可扩展性和表达能力。这种新的 QGNN 具有排列等变性，并且可以精确地定位在 Weisfeiler-Leman 层级中，这是图区分的标准度量。该框架通过引入预训练策略解决了变分量子电路中常见的可训练性问题，并通过多达 56 个量子比特的大规模模拟进行了验证。
-
Hugging Face论文揭示LLM中的“潜移学习”，影响可审计性
Hugging Face的一篇新论文探讨了语言模型中“潜移学习”的概念，即学生模型可以通过不明确命名这些特征的蒸馏数据从教师模型继承隐藏特征。研究确定“通道位置”是决定在训练前是否可以审计这种转移的关键因素。研究发现，根据特征是在主体通道中还是依赖于词汇几何结构，存在不同的转移机制，这表明标准的预训练筛选并非总是能有效审计这些隐藏特征。研究结果表明，即使移除了特定的训练标签，相关的偏好仍然可以转移，这凸显了对细致审计策略的需求。
-
AI 模型训练：微调与预训练详解
本文阐述了 AI 模型语境下微调、预训练和再训练之间的区别。它强调微调是一种将预训练模型适应特定任务的方法，而不是从头开始构建新模型。该文旨在指导产品经理理解这些概念，以便在 AI 开发和部署方面做出明智的决策。
-
AI预训练增强高维密度估计
研究人员通过利用预训练（一种在先进AI中常见的技术）引入了一种在高维空间中进行密度估计的新方法。该方法利用预训练的神经网络为每个数据点推荐合适的自适应核，从而提高效率和准确性。该策略的有效性在数值实验中得到证明，尤其是在目标分布与预训练分布一致时，并提供了用于适应不同分布的微调选项。
-
新理论探讨预训练和稀疏连接如何增强深度学习泛化能力
三篇新论文探讨了深度学习泛化能力的理论基础。其中一篇论文将预训练确定为弱到强泛化能力的关键因素，并通过预训练过程中的相变展示了其出现。另一篇研究了卷积网络中的稀疏连接如何通过处理低维块中的输入来提高泛化能力，为它们的优势提供了原则性解释。第三篇论文提出了一个非渐近理论，通过展示神经切线核如何划分输出空间、管理信号和噪声来解释泛化能力，并引入了一个提高训练效率和性能的实用目标。