Polylogue

大型语言模型内部“对话”为理解推理机制提供了新视角

研究人员引入了“对话”（polylogue）的概念，用以描述文本生成过程中角色向量与大型语言模型（LLM）激活之间的动态交互。该方法将角色向量视为可随时间监测和影响的演化信号，而非静态的引导机制。在四个开源模型上的实验表明，对话特征能够以与现有方法相媲美的准确度预测响应的正确性，并为LLM的推理过程提供可解释的洞察。研究还表明，在生成不同阶段进行有针对性的干预可以提高准确性，尽管鲁棒性仍是一个挑战。