Verbalizing Activation Differences

自然语言自编码器在解释大型语言模型内部表征方面展现出潜力

研究人员探索了使用自然语言自编码器（NLAs）将大型语言模型的内部表征转化为人类可读的文本。该研究调查了这些NLAs在不同场景下的泛化能力，包括微调模型和模型差异分析任务。跨多个模型的实验表明，NLAs可以展现出组合结构，在无需重新训练的情况下泛化到轻量级微调，并恢复微调目标。虽然NLAs在阐述激活差异方面展现出潜力，但它们目前在涌现式错位检测方面并未超越最先进的方法，但优于黑盒基线。