研究人员提出了一种在新方法,用于在云边系统中进行资源管理的大型语言模型(LLM)。该研究建议不将LLM直接嵌入快节奏的控制循环中,而是采用一个持续指令调优的意图编译器,该编译器运行在一个独立的、快速的战术控制器之上。这种方法旨在通过将意图编译视为一个序列调优问题来减轻与LLM推理延迟和幻觉相关的风险。初步结果表明,重放存储的示例几乎可以防止早期意图的灾难性遗忘,使调优后的编译器在性能上可与更简单的翻译器相媲美,同时对意图措辞的变化更具弹性。 AI
影响 这项研究可能导致在对延迟敏感的基础设施管理系统中更健壮、更高效的LLM集成。
排序理由 该集群包含一篇学术论文,详细介绍了LLM在资源管理中的一种新颖应用方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →