研究人员开发了 SafeStart，一种新的方法来缓解优化混合专家（MoE）语言模型以实现更快服务所带来的安全风险。虽然减少每个 token 使用的专家数量可以显著加快模型推理速度，但它也可能导致模型拒绝有害请求的能力下降。SafeStart 通过对初始提示和前几个生成 token 运行所有专家，然后恢复到减少的专家集来解决这个问题。这种方法在保留大部分加速效果的同时，在很大程度上恢复了模型的拒绝能力，表明 MoE 服务中的效率提升不一定需要以牺牲安全性为代价。 AI
影响 在不显著降低性能的情况下提高了优化 LLM 服务的安全性。
排序理由 该集群包含一篇详细介绍优化 LLM 服务新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- DeepSeek-V2-Lite
- Erfan Baghaei Potraghloo
- LLM
- Massive Multitask Language Understanding
- Mixture-of-Experts
- OLMoE
- Qwen1.5-MoE
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
