Tusa

新的TUSA方法通过选择性干预增强LLM对齐

研究人员推出了一种名为TUSA（基于信任的不确定性稀疏对齐）的新方法，用于在推理过程中对齐大型语言模型（LLM）。与监督每个解码步骤的密集对齐方法不同，TUSA采用不确定性感知的仲裁器，仅在监督者有信心且token在语义上突出时进行干预。这种选择性方法绕过了大约50%的对齐步骤，从而在安全性和通用性方面都取得了显著的改进。实验表明，与密集基线相比，TUSA可以将安全偏好提高高达15.6%，通用偏好提高高达12.0%。