Procrustes alignment

研究发现：LLM智能体通过文本通信会丢失88%的特征

一项新的研究论文探讨了大型语言模型（LLM）智能体的通信方法，特别是研究基于文本的通信是否是复杂概念迁移的瓶颈。研究发现，文本序列化会破坏大量SAE特征，这表明潜在通信通道可能更有效。然而，研究还表明，在跨语言概念任务上，当前的潜在通信方法并不优于基于文本的通道，并且用潜在特征进行文本增强没有带来任何好处，从而得出结论：丢失的特征主要编码表面形式而非任务相关的语义。