Alexey Nizhegolenko

OpenAI 的 gpt-oss-20b 模型在单个 L4 GPU 上运行 128k 上下文

一位工程师已成功部署 OpenAI 的 gpt-oss-20b 模型，在单个 NVIDIA L4 GPU 上实现了 128,000 个 token 的上下文窗口。该配置已投入生产运行六个月，利用 mxfp4 量化进行高效权重存储和 FP8 KV 缓存，使得整个模型和缓存都能容纳在 GPU 的 24GB VRAM 中。该模型原生兼容 OpenAI 的工具调用格式和内部思维链推理，进一步增强了其在复杂分析任务中的实用性。