越狱的PlayStation 5主机现在可以以令人印象深刻的速度在本地运行大型语言模型(LLMs),对于较小的模型,速度超过每秒100个token。PS5LM项目的一个fork,它将llama.cpp移植到PS5,已经过优化以原生运行,利用了主机的GPU并访问了更多RAM。这使得Qwen3.8-27B等模型能够以每秒20个token的速度运行,而Gemma 4 E4B和Llama 3.2:3b等较小的模型则能以显著更高的速度运行。增强版还包括一个用于监控性能指标的仪表板,并且可以从其他设备远程访问。 AI
影响 使得在消费级游戏硬件上执行本地AI模型成为可能,可能提高AI实验的可访问性。
排序理由 该集群描述了对现有硬件(PS5)的修改以运行AI模型,而不是发布新的AI模型或核心AI研究。
在 Mastodon — mastodon.social 阅读 →
- Mastodon
- PlayStation 5
- AMD
- Çobanov Elmin İsmixan oğlu
- Gemma 4 E4B
- Llama 3.2:3b
- llama.cpp
- PS5LM
- PS5_Vulkan
- Qwen3.8-27B
- u/AdIllustrious7246
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →