Context--Answer Metamodels

新的元模型在生成答案之前预测LLM激活

研究人员开发了“Context--Answer Metamodels”，能够在语言模型生成第一个答案标记之前预测其激活。这些元模型在上下文的激活序列上进行训练，能够高保真地预测平均池化的答案激活，甚至捕捉到推出时的变异性。这些模型在泛化到域外数据集方面表现出强大的能力，并保留了行为预测信号。值得注意的是，来自Qwen2.5模型的一个激活预测可以预测Qwen 3.5和Gemma 4等其他模型的答案激活，这表明了跨模型的可迁移性。