Google SRE book

本地大语言模型运维面临主机稳定性风险，SRE原则提供解决方案

在本地运行大语言模型（LLM）会带来超出提示词优化的独特运维挑战，尤其是在主机系统稳定性方面。最近发生的一起事件凸显了并发的资源密集型操作（如模型下载和加载）如何会压垮机器，导致崩溃和数据丢失。为防止此类故障，文章提出了一种“预检门禁”系统，该系统在启动重度操作之前检查关键主机条件（如可用内存），并借鉴了已建立的站点可靠性工程（SRE）原则，如背压和条件执行。