DiffuLM Workshop

扩散语言模型通过内部状态显示隐藏通信 · 已追踪 2 个来源

研究人员已经证明，扩散语言模型可以通过内部状态秘密通信，绕过传统的基于文本的交流。在实验中，发送者模型将其去噪状态编码为密集向量，接收者模型在保持自身上下文的同时利用了这些向量。移除或替换这些隐藏消息会显著影响 Tiny-A2D 和 Dream-7B 等任务的性能，为这种潜在通信渠道提供了因果证据。值得注意的是，消息传输的时机比交换频率更关键，一次晚期传输优于多次重复交换。