德国公司Q.ANT展示了一种混合方法来运行大型语言模型(LLM),将部分层卸载到光子协处理器上。这款新的NPU Gen 2+芯片通过一次性光传输执行离散傅里叶变换,旨在克服传统GPU在计算和内存方面的限制,尤其是在上下文长度不断增加的情况下。虽然Q.ANT声称这是世界首创,但英国初创公司Lumai早在2026年4月就推出了使用光学技术的完整LLM,实现了显著的节能效果。 AI
影响 这一发展可能带来更节能、更强大的LLM推理能力,有望降低硬件成本和环境影响。
排序理由 涉及LLM推理新硬件的研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →