一种名为 PHOTON 的新 AI 架构被提出，用于解决语言模型中的 KV 缓存瓶颈。与传统 Transformer 模型水平读取上下文并在每个新 token 时重新读取整个内存不同，PHOTON 采用垂直读取方式。它将 token 压缩成粗略摘要，显著减少了需要重新读取的数据量，从而加快文本生成速度，尤其是在长上下文场景下。该架构由一个分块器、一个转换器和一个局部解码器组成，其关键创新在于一个固定大小的局部重建窗口，该窗口不会随着上下文长度的增加而增长。 AI
影响 这种新架构通过降低内存带宽需求，有望显著提高 LLM 的效率，尤其是在长上下文生成方面。
排序理由 该条目描述了一种新颖的 AI 架构及其技术细节，以研究论文的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
