PulseAugur
实时 06:44:17
实体 safety text

safety text

PulseAugur coverage of safety text — every cluster mentioning safety text across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_169592 ·

    研究发现:最终预训练数据显著影响模型微调后的行为

    一项新发表在arXiv上的研究探讨了语言模型训练的最后阶段数据,即使只占其总预训练数据的一小部分,也会对其监督微调(SFT)后的行为产生显著影响。研究人员发现,在SFT和微调后阶段完全相同的模型,会根据其最终预训练窗口中使用的特定数据源而表现出显著差异。例如,最后阶段预训练了安全文本的模型,在对齐后比那些在通用网络文本或其他专业数据集上训练的模型更能抵抗有害请求。这表明,模型的最终预训练数据印记至关重要,在评估其进行后续对齐阶段的准备…