研究人员开发了一种新颖的多头量子神经网络(QNN),旨在替换大语言模型(LLM)中的Transformer块。这种量子模块与嘈杂中等规模量子(NISQ)设备兼容,目标是在不显著损失准确性的情况下减少参数数量。该方法将隐藏空间划分为更小的片段,并行处理它们,并通过经典线性层进行集成。在Qwen3-30B-A3B-Instruct-2507模型上的实验表明,单个多头QNN可以替换大部分Transformer块,并且其量子组件已在IBM Heron处理器上进行了测试。 AI
影响 这项研究可能通过利用量子计算原理来构建核心架构组件,从而实现更具参数效率的大语言模型。
排序理由 学术论文,详细介绍了LLM架构的一种新颖技术方法。[lever_c_demoted from research: ic=1 ai=1.0]
- 30-Billion-Parameter LLM
- Borja Aizpurua Altuna
- IBM Heron
- Multi-head Quantum Neural Networks
- NISQ Modules
- Qwen3-30B-A3B-Instruct-2507
- transformer blocks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →