新的“解码级禁忌”压力测试 LLM鲁棒性超越名义条件

研究人员引入了“解码级禁忌”（Decoding-Level Taboo），一种新的诊断压力测试，旨在评估大型语言模型（LLM）在非名义条件下的鲁棒性。该方法在运行时直接干预模型的logit空间，迫使其生成偏离其典型、优化路径的文本。对各种开源模型的评估表明，偏离路径的鲁棒性显著受到模型规模和指令对齐的影响，通常规模更大、对齐性更好的模型表现更佳。“解码级禁忌”为创建合成数据集、测试安全护栏以及在部署前审计LLM的可靠性提供了一种新颖的方法。 AI

影响 这项新的压力测试可以通过在实际使用前识别LLM的弱点，从而实现更可靠的LLM部署。

排序理由 该集群描述了一篇介绍LLM评估新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Decoding-Level Taboo
• Gotit.pub
• Hugging Face
• Influence Flower
• large language model
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →