一种名为 AirLLM 的新技术通过分层推理，使得在 4GB GPU 上运行 700 亿参数的大型语言模型成为可能。该方法按顺序加载和计算模型层，而不是一次性加载整个模型。此外，Perplexity AI 正在为其 Perplexity Computer 推出混合智能体推理功能，允许在本地和云资源之间分配任务。 AI
影响 赋能大型模型在消费级硬件上运行，并提高 AI 智能体的效率。
排序理由 该集群讨论了一种新颖的大型语言模型推理技术和一个 AI 产品的新功能，符合研究和产品类别。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
RT @HowToAI_: Sie können jetzt 70B-LLMs auf einer 4GB-GPU ausführen. AirLLM verwendet "Layer-weise Inferenz." Statt das gesamte Modell zu laden, lädt, berechnet und löscht es eine Schicht nach der anderen. 100% Open Source. mehr auf Arint.info # AI # AirLLM # GPU # LLM # MachineL…
RT @perplexity_ai: Heute geben wir bekannt, dass hybrides agentic Inference für Perplexity Computer verfügbar wird. Computer kann Aufgaben zwischen einem lokalen Modell, das auf Ihrem Gerät läuft, und fortschrittlichen Modellen in der Cloud aufteilen. Dadurch bleiben private Date…