研究人员发现了一种“有害性传播动力学”(HPD)现象,即有害意图在大型语言模型中的表示随着模型深度的增加而增加。这表明有害性是一种逐步解决的语义属性,其完整意图在模型的后期层中得到巩固。为了解决这个问题,开发了一种名为“Herald”的轻量级输入审核器。Herald从跨层投影序列中提取特征来对有害提示进行分类,实现了高准确率,并提供了模型内部有害性如何产生的可解释审计跟踪。 AI
影响 提供了一种理解和减轻LLM有害输出的新方法,有望提高模型的安全性和可解释性。
排序理由 该集群包含一篇详细介绍新研究发现和分析LLM行为的提议方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Harmfulness Propagation Dynamics
- Herald
- Hugging Face
- multilayer perceptron
- Noor S. Mohammad
- OLMo2-7B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →