pre-training
PulseAugur coverage of pre-training — every cluster mentioning pre-training across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架统一了生成模型间的成员推断攻击
研究人员开发了一个统一的成员推断攻击（MIA）框架，该框架可应用于包括文本到文本、文本到图像和图像到文本在内的各种生成模型模态。这种新方法克服了先前将每种模态孤立处理的局限性。该框架利用了生成模型的输出分布可以近似其训练数据分布的观察结果，从而通过在共享嵌入空间中进行似然比测试来实现成员推断。在黑盒设置下的广泛实验表明，与现有的单类优化方法相比，该框架表现出优越的性能。
-
新的量子图神经网络框架有望实现可扩展性和表达能力
研究人员开发了一种新颖的消息传递量子图神经网络 (QGNN) 框架，该框架旨在实现可扩展性和表达能力。这种新的 QGNN 具有排列等变性，并且可以精确地定位在 Weisfeiler-Leman 层级中，这是图区分的标准度量。该框架通过引入预训练策略解决了变分量子电路中常见的可训练性问题，并通过多达 56 个量子比特的大规模模拟进行了验证。
-
Hugging Face论文揭示LLM中的“潜移学习”，影响可审计性
Hugging Face的一篇新论文探讨了语言模型中“潜移学习”的概念，即学生模型可以通过不明确命名这些特征的蒸馏数据从教师模型继承隐藏特征。研究确定“通道位置”是决定在训练前是否可以审计这种转移的关键因素。研究发现，根据特征是在主体通道中还是依赖于词汇几何结构，存在不同的转移机制，这表明标准的预训练筛选并非总是能有效审计这些隐藏特征。研究结果表明，即使移除了特定的训练标签，相关的偏好仍然可以转移，这凸显了对细致审计策略的需求。
-
AI 模型训练：微调与预训练详解
本文阐述了 AI 模型语境下微调、预训练和再训练之间的区别。它强调微调是一种将预训练模型适应特定任务的方法，而不是从头开始构建新模型。该文旨在指导产品经理理解这些概念，以便在 AI 开发和部署方面做出明智的决策。
-
AI预训练增强高维密度估计
研究人员通过利用预训练（一种在先进AI中常见的技术）引入了一种在高维空间中进行密度估计的新方法。该方法利用预训练的神经网络为每个数据点推荐合适的自适应核，从而提高效率和准确性。该策略的有效性在数值实验中得到证明，尤其是在目标分布与预训练分布一致时，并提供了用于适应不同分布的微调选项。
-
新理论探讨预训练和稀疏连接如何增强深度学习泛化能力
三篇新论文探讨了深度学习泛化能力的理论基础。其中一篇论文将预训练确定为弱到强泛化能力的关键因素，并通过预训练过程中的相变展示了其出现。另一篇研究了卷积网络中的稀疏连接如何通过处理低维块中的输入来提高泛化能力，为它们的优势提供了原则性解释。第三篇论文提出了一个非渐近理论，通过展示神经切线核如何划分输出空间、管理信号和噪声来解释泛化能力，并引入了一个提高训练效率和性能的实用目标。