deepseek-r1-distill-qwen-32b-q4_k_m.gguf

旧服务器的64GB内存运行32B LLM，超越现代笔记本电脑的显存限制

一项实验探索了在一台2008年的服务器上运行一个320亿参数的LLM，该服务器拥有64GB内存但没有专用GPU，并将其与一台配备GeForce RTX 4070的现代笔记本电脑进行了对比。尽管老旧硬件的推理速度明显较慢（0.01 tokens/秒），但它成功地将模型完全运行在系统内存中，而现代笔记本电脑由于显存和内存总和不足而难以实现这一点。实验还强调，即使是大型模型，在没有专门训练的情况下，在生成Forth代码等专业编程任务上可能表现不佳。