TruthProbe

研究发现真实性在大型语言模型家族中是可继承的

一篇新的研究论文探讨了上下文真实性在模型谱系中的保持问题，发现从基础大型语言模型（LLMs）到其下游变体（包括指令调优和多模态适应模型）的真实性得分得到了强有力的维持。这种继承与注意力头部权重的保持有关。该研究提出了一种名为TruthProbe的方法，该方法可以增强上下文真实性头部，以提高模型的真实性并减少幻觉，涉及Vicuña、Qwen2.5、LLaMA2和Mistral等模型。