2013 Workstation

DDR5 价格飙升之际，旧工作站运行 125B 人工智能模型

作者详细介绍了如何在老旧硬件上运行一个拥有 1250 亿参数的人工智能模型，因为新计算机组件，特别是 DDR5 内存的价格不断上涨。通过使用一台配备 Xeon 处理器和两块 2017 年 NVIDIA Titan Xp GPU 的 2013 年工作站，他们实现了每秒 38 到 48 个 token 的推理速度。这种方法凸显了在硬件成本上升的情况下，利用现有技术进行本地人工智能任务的可行性。