AI Runtime Operating System

新的AI运行时操作系统在通用硬件上编排模型

一位开发者创建了UGR，一个开源的AI运行时操作系统，旨在管理通用硬件上的AI推理工作负载。UGR作为现有推理引擎（如llama.cpp和TensorRT-LLM）之上的一个编排层，将AI模型视为可以动态地在不同内存层级（VRAM、RAM、NVMe）之间移动的资源集合。这种方法旨在克服CUDA内存不足等限制，特别是对于拥有较旧或性能较低GPU的用户。该项目还包括一个模拟引擎，用于在执行前预测性能和资源使用情况。