BITNET

1位AI基础设施可在CPU上实现更快、无损的LLM推理

研究人员开发了一个名为“this http URL”的软件栈，可在CPU上实现1位大型语言模型（LLM），如BitNet b1.58的快速、无损推理。这种新基础设施在x86 CPU上实现了2.37倍至6.17倍的速度提升，在ARM CPU上实现了1.37倍至5.07倍的速度提升，具体取决于模型大小。目标是使LLM更高效，并能在更广泛的设备上部署。