本地AI的新进展使得大型语言模型可以在个人硬件上访问。像OpenAI的GPT-OSS-120B和Google的Gemma 4 12B这样的模型现在可以在RTX 5090和AMD RX 7800 XT等消费级GPU上运行。这一发展消除了每token成本和外部维护的需要，标志着去中心化AI部署的重大转变。 AI
影响 本地执行大型模型减少了对云提供商的依赖，并可能扰乱硬件市场。
排序理由 多个来源讨论了在消费级硬件上本地执行大型AI模型以及一个编写CUDA代码的新AI代理。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 6 个来源。 我们如何撰写摘要 →
Running a 120B-parameter model on hardware that sits on your desk, with no per-token costs and no backend to maintain. Local # AI just got real. My take on RTX Spark meeting Foundry Local: https:// shish.substack.com/p/local-ai- just-got-real-why-im-excited
RT @NeoAIForecast: Ich habe die GGUF-Quantisierungen von Gemma 4 12B IT auf meiner AMD RX 7800 XT mit llama.cpp ROCm/HIP und OpenAI HumanEval getestet. mehr auf Arint.info # AI # AMD # Benchmarking # Gemma # LLM # OpenSource # arint_info https://x.com/NeoAIForecast/status/2062741…
RT @NeoAIForecast: Ich habe die GGUF-Quants von Gemma 4 12B IT auf meiner AMD RX 7800 XT mit llama.cpp ROCm/HIP und OpenAI HumanEval benchmarked. mehr auf Arint.info # AI # AMD # Benchmarking # Gemma # LLM # OpenSource # arint_info https://x.com/NeoAIForecast/status/2062741106648…
RT @witcheer: TRANSLASATION: OpenAI's GPT-OSS-120B läuft auf einer einzelnen RTX 5090. Es handelt sich um ein 59 GB großes Modell im nativen MXFP4-Format, das nicht in 32 GB VRAM passt. Die Lösung ist MoE-Offload: Die Attention-Mechanismen bleiben auf der GPU, während die Expert-…
RT @googlegemma: Triff Gemma 4 12B! mehr auf Arint.info # AI # Gemma4 # MachineLearning # Multimodal # OpenSource # TechNews # arint_info https://x.com/googlegemma/status/2062202706882883696#m
RT @HowToAI_: ByteDance hat eine Publikation veröffentlicht, die jeden NVIDIA-Aktionisten ins Schwitzen bringen sollte. Sie trainierten eine KI, die CUDA-Code besser als menschliche Experten schreiben kann. Das System nennt sich „CUDA Agent“. Es verändert die Wirtschaftlichkeit d…