Vector Quantizer (VQ)

TRACE框架增强了边缘设备上分布式Transformer的推理能力

研究人员开发了TRACE，一个用于边缘设备上Transformer通信高效分布式推理的新框架。TRACE在每个Transformer层中使用向量量化器（VQ）将激活编码为紧凑的码本索引，允许接收方通过查表直接恢复键和值。该方法绕过了在接收数据上进行下游计算的需要，实现了通信-计算重叠并降低了延迟。实验表明，与现有方法相比，TRACE可以实现更高的准确性和显著的推理速度提升，同时大幅降低通信开销。