Open Source Summit North America

Kubernetes 缺乏对 LLM 工作负载的隔离，需要 RuntimeClass

在标准 Kubernetes 上运行大型语言模型 (LLM) 工作负载存在重大的安全风险，因为其隔离性不足。虽然 Kubernetes 在编排方面表现出色，但它缺乏对能够执行代码并与外部系统交互的 LLM 代理所需的容器化能力。为解决此问题，开发人员可以利用 Kubernetes 的 RuntimeClass 功能，并选择 gVisor 或 Kata 等选项，为这些动态工作负载创建更强的隔离边界。