一种用于本地AI推理的非常规方法涉及翻新PlayStation 5芯片,特别是AMD BC-250板。该板具有类似于PS5 APU的Zen2 CPU和RDNA2 GPU,价格约为80-180美元。社区使用llama.cpp和Vulkan进行的测试显示出有希望的结果,单板在8B模型上可实现约60 tokens/秒,而双板集群能够以超过70 tokens/秒的速度处理35B模型。 AI
影响 翻新PS5芯片等消费级硬件可以降低本地部署AI模型的门槛。
排序理由 该项目讨论了将现有消费级硬件翻新用于AI推理,属于AI工具范畴。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →