Bertology

研究人员提出高效 LLM 分类探测以降低延迟和显存占用

研究人员开发了一种方法，可以将分类任务（如安全检查）直接集成到大型语言模型（LLM）的前向传播中。该方法使用在 LLM 内部状态上训练的轻量级探测器，无需单独的分类模型。该技术总结了 Token 和层的信息，在保持接近服务延迟和减少显存占用的同时，展现出与更大、更专业的模型相媲美的性能。在包括 Llama-3.2-3B 和 GPT-OSS-20B 在内的各种 LLM 架构上的实验证明了这种高效分类策略的通用性。