实体
Pretrained Models
Pretrained Models
PulseAugur coverage of Pretrained Models — every cluster mentioning Pretrained Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新方法增强了对神经网络的基于频率的对抗性攻击
研究人员提出了一种新的频率域对抗性攻击生成方法，该方法利用了神经网络的光谱敏感性。这种方法被构建在一个专门的优化框架内，该框架包含一个与非正交变换相关的扰动约束集。攻击被生成为加权的 $\ell_2$ 投影，为攻击生成提供了一种受控机制，并具有清晰的几何表征。在标准化数据集上的评估表明，这些攻击对各种预训练和对抗性鲁棒模型都有效，为分析基于变换的攻击提供了一个潜在的理论基准。
-
持久同调跟踪微调过程中大型语言模型的表征变化
研究人员采用持久同调来分析大型语言模型在监督微调过程中的内部表征动态。他们的研究检查了四种 Transformer 模型（10亿至70亿参数）和三种对齐目标（有益、无害、混合），发现大多数拓扑变化发生在训练早期，随后趋于稳定。研究结果表明，不同的对齐目标会导致不同的拓扑轨迹，并且经过指令微调的模型与预训练模型演变方式不同，这为超越行为指标的模型对齐提供了新的视角。
-
新方法改进LLM微调以提升性能
研究人员开发了改进大型语言模型监督微调（SFT）的新方法。一种方法FisherAdapTune利用Fisher信息几何动态选择参数组进行适应，增强了分布内性能和零样本迁移能力。另一组方法，包括Target-SFT和PriFT，将SFT重新解释为目标分布设计。这些技术旨在通过更好地将微调过程与模型的预训练知识对齐，来创建更稳定有效的训练目标，从而在各种推理和代码生成任务上取得最先进的结果。