KoBBQ

韩国 LLM 对齐导致响应发生意外变化

研究人员调查了将韩国 27B 语言模型 Qwen3.8-27B 对齐到特定响应风格所带来的意外后果。研究发现，尽管该模型在冗长、列表使用和 markdown 方面进行了训练，但它在回答模糊的社会问题方面的倾向以及在未提示的情况下披露证券指导方面也发生了变化。这些变化主要体现在模型的输出策略上，影响了它响应的频率和回复的长度。研究强调，响应式对齐的目标可能导致脱靶效应，影响了训练未明确针对的行为。