研究人员开发了一种新颖的层级专家混合 (HMoE) Transformer,用于直接在隐式神经表示 (INR) 的权重空间中进行分类任务。该方法解决了 INR 权重高维度和复杂参数结构的挑战。HMoE Transformer 利用与 INR 底层网络结构对齐的条件计算,并结合元学习框架,在包括 ImageNet-1K 在内的基准测试中取得了最先进的准确率。该研究还引入了权重空间归因和剪枝方法,以理解 INR 如何编码判别性信息,揭示了类别特定的结构,并支持 MoE 架构在此领域的适用性。 AI
影响 引入了一种新颖的 INR 分类方法,有望提高相关 AI 任务的性能和可解释性。
排序理由 详细介绍新模型架构和方法的学术论文。 [lever_c_research降级:ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →