English(EN) TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference

TRACE框架增强了边缘设备上分布式Transformer的推理能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-19 04:00

研究人员开发了TRACE，一个用于边缘设备上Transformer通信高效分布式推理的新框架。TRACE在每个Transformer层中使用向量量化器（VQ）将激活编码为紧凑的码本索引，允许接收方通过查表直接恢复键和值。该方法绕过了在接收数据上进行下游计算的需要，实现了通信-计算重叠并降低了延迟。实验表明，与现有方法相比，TRACE可以实现更高的准确性和显著的推理速度提升，同时大幅降低通信开销。 AI

影响能够在外围设备上更高效、更快速地部署AI模型，这些设备带宽有限。

排序理由该条目是一篇研究论文，详细介绍了一个新的分布式推理框架。[lever_c_降级自研究：ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 10 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目是一篇研究论文，详细介绍了一个新的分布式推理框架。[lever_c_降级自研究：ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Muhammad Azlan Qazi, Alexandros Iosifidis, Qi Zhang · 2026-10-19 04:00

TRACE: 用于通信高效分布式边缘推理的 Transformer 残差激活码本编码

arXiv:2610.22435v1 Announce Type: cross Abstract: Distributed Transformer inference across co-located edge devices is fundamentally communication-bound, as exchanging activations between sequence-parallel partitions dominates inference latency under commodity edge bandwidths. Exi…

本文如何被排名

报道来源 [1]

TRACE: 用于通信高效分布式边缘推理的 Transformer 残差激活码本编码

相关实体

相关话题