一份新的技术报告详细介绍了 `cent_runtime` 的开发,这是一个 C++17 和 Python 库,旨在弥合 PyTorch 张量与用于 LLM 推理的 CENT 架构之间的差距。CENT 架构在 ASPLOS 2025 上提出,旨在通过利用通过 CXL 3.0 连接的 GDDR6-AiM 模块,绕过传统内存瓶颈,在没有 GPU 的情况下执行大型语言模型推理。`cent_runtime` 库促进了张量到 CENT 架构执行模型的调度,解决了学术模拟之外的实际实现挑战。 AI
影响 这一发展可能为 LLM 推理提供一种新颖的方法,通过消除对 GPU 的需求,有可能降低硬件成本和能耗。
排序理由 该条目描述了一份技术报告,其中详细介绍了一个用于 LLM 推理的新软件库和架构,并引用了一篇学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- aim_simulator
- ASPLOS 2025
- C++17
- cent_runtime
- CXL 3.0
- GDDR6-AiM
- graphics processing unit
- Gu et al.
- High Bandwidth Memory
- LLaMA-2 7B
- LLM
- Patterson & Hennessy
- PIM Is All You Need: A CXL-Enabled GPU-Free System for Large Language Model Inference
- Python
- PyTorch
- Ramulator 2.0
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →