TokenGate
PulseAugur coverage of TokenGate — every cluster mentioning TokenGate across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
TokenGate 模块通过修剪提示 token 提高 LLM 效率
斯坦福大学和加州大学伯克利分校的研究人员开发了 TokenGate，这是一个旨在提高大型语言模型 (LLM) 效率的新模块。TokenGate 的功能是教会现有的 LLM 识别并删除冗长提示中不太重要的 token。初步测试表明，在不影响准确性的情况下，将首次 token 时间缩短了高达 11.3 倍，峰值内存使用量减少了高达 3.4 倍，取得了显著的改进。
-
斯坦福大学和加州大学伯克利分校发布 TokenGate 以加快 LLM 预填充速度
斯坦福大学和加州大学伯克利分校的研究人员开发了 TokenGate，这是一个旨在加速具有长上下文的大型语言模型预填充过程的新型模块。通过采用学习到的 token 修剪机制，TokenGate 仅选择性地处理最相关的输入 token，从而在不影响准确性的情况下，将首个 token 的生成时间（time-to-first-token）速度显著提升高达 11.3 倍，并将内存使用量减少高达 3.4 倍。该系统被设计为一个可插入组件，可以集成…
-
TokenGate 模块加速 LLM 长上下文预填充
研究人员开发了 TokenGate，这是一个新颖的模块，旨在显著加速大型语言模型 (LLM) 在处理长上下文输入时的预填充过程。这个轻量级组件能够让 LLM 选择性地跳过不重要的 token，模仿人类的略读行为，从而在不影响准确性的前提下提高处理速度并减少内存使用。TokenGate 已在 Transformer 模型上展示了显著的改进，实现了高达 11.3 倍的首个 token 时间加速和 3.4 倍的峰值内存使用量降低。