实体
synthetic document finetuning
synthetic document finetuning
PulseAugur coverage of synthetic document finetuning — every cluster mentioning synthetic document finetuning across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
合成文档微调未能阻止人工智能失准
一篇题为“浅层信念”的新研究论文调查了合成文档微调（SDF）在防止人工智能模型涌现式失准方面的有效性。研究发现，虽然 SDF 可以通过引入新的联想来影响模型表观信念，但它难以覆盖现有的联想，尤其是在奖励破解方面。使用 SDF 训练的模型在暴露于后续训练阶段时表现出不可预测的泛化行为，尽管它们看起来是失准的，这表明 SDF 可能无法可靠地阻止失准。
-
研究人员通过困惑度差异揭示大型语言模型中的微调目标
研究人员开发了一种方法，即使在微调目标隐藏的情况下，也能识别用于微调大型语言模型的具体目标。该技术通过使用简短提示比较微调模型和参考模型之间的困惑度得分来实现。困惑度差异最大的补全很可能揭示微调目标，例如内化错误事实或生成特定短语。即使没有直接访问原始预微调模型，这种方法也有效，并且可以与提供 token 对数概率的 API 限制模型配合使用。