实体
Natural Language Autoencoders (NLA)
Natural Language Autoencoders (NLA)
PulseAugur coverage of Natural Language Autoencoders (NLA) — every cluster mentioning Natural Language Autoencoders (NLA) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Llama 70B 评估显示上下文比对抗性训练更重要
使用 AuditBench 和自然语言自编码器 (NLA) 对 Llama 70B Instruct 微调模型进行的新分析显示，评估方法比对抗性训练对采样技术更敏感。研究发现，与单轮评估相比，提供更多上下文的“强证据”评估格式更能抵御知识定向优化 (KTO) 和监督微调 (SFT) 等对抗性攻击。具体而言，诸如奖励线接线和上下文乐观主义等某些行为仅在更鲁棒的“强证据”评估中出现，这表明简单测试方法的局限性。
-
分析Gemma 3 12B的激活以解释token
研究人员利用了来自自然语言自编码器（NLA）论文的工具——Gemma 3 12B的激活词化器和重构器，来生成预训练和聊天数据集的token解释。他们分析了这些解释，注意到Gemma的输出中存在一个一致的三部分格式：文档类型和主题、上下文引用和解释，以及当前token的描述。该研究还检查了重构误差高的token，以了解它们的特征。