Haiyan Zhao

新研究探索从 LLM 表征中解码文本和自适应生成

两篇新研究论文探索了从大型语言模型中解码信息的新颖方法。第一篇“下一个 Token 还是 Vector？学习解码的距离”介绍了 CADENCE，一种自适应 token 预测粒度的方法，其吞吐量比标准贪婪解码高出 1.3 倍。第二篇论文“Rep2Text：从单个 LLM Token 表征中解码完整文本”提出了一种从单个隐藏表征中重建文本的方法，发现这些表征保留了大量信息，并突出了潜在的隐私风险。