Panasonic Toughbook

便携式数据中心可运行200K+ Token的LLM提示

一位用户构建了一个高度便携的个人数据中心，能够运行具有广泛上下文窗口的大型语言模型。该设置使用了FormD T1机箱和强大的RTX 6000 Ada Generation GPU，使其能够处理200K+ Token的提示，用于文档OCR和分析等任务。虽然该系统在预填充速度方面表现出色，但由于高上下文准确性所需的BF16精度，Token生成速度较慢。用户指出其性能超过了Gemini Pro和ChatGPT 5.6 Sol，但尚未达到Opus的水平。