Compositional Generalization in Multilingual Semantic Parsing over Wikidata
PulseAugur coverage of Compositional Generalization in Multilingual Semantic Parsing over Wikidata — every cluster mentioning Compositional Generalization in Multilingual Semantic Parsing over Wikidata across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究弥合了 GPT-2 模型中的组合性差距
一篇新研究论文探讨了 Transformer 语言模型（特别是 GPT-2）在组合泛化方面的局限性。研究发现，虽然这些模型在分布内可以正确地组合已知事实，但它们在分布外知识方面常常失败。通过修改训练数据，使原子事实与模型的推理电路对齐，研究人员成功地弥合了这种组合性差距，表明这不是一个固有的架构缺陷，而是可以通过训练分布设计来解决的。
-
量子电路赋能多模态AI在组合概念上的泛化能力
研究人员开发了Mu-DisCoCat，一个利用变分量子电路在多模态AI系统中实现组合概念泛化（CoCoGen）的新框架。该方法通过将传统组合语义模型的扩展瓶颈映射到量子电路上来解决这些问题。该框架从图像-文本对中学习对象表示，然后利用这些表示来理解多对象场景中的关系，展示出比现有基线更高的分布外准确率。在嘈杂的量子模拟器和IBM Marrakesh处理器上的实验表明，硬件执行的模型与模拟保真度保持了很强的相关性，预示着其在近期量子硬件…
-
证据掩蔽提升AI系统的组合泛化能力
一项涉及六十四个单元格系统（具有冻结的语言模型骨干）的预先注册研究，调查了证据掩蔽对组合泛化的影响。研究发现，限制模块可访问的内容显著提高了在未见过的双操作和三操作组合上的准确性。尽管测试的掩蔽机制显示出巨大优势，但其确切归因和更广泛的适用性仍是悬而未决的问题。
-
新理论量化神经网络特征叠加的限制
研究人员开发了一个新的理论框架来理解神经网络中的特征叠加，解决了交叉特征干扰的问题。通过将线性可达性建模为压缩感知问题，他们推导出了高概率界限，表明所需的维度与概念的数量成线性比例关系，这比以前的二次界限有了显著改进。这些发现为线性表示假设提供了量化理解，并为评估稀疏自动编码器和神经可解释性等技术提供了基础。
-
机器人研究识别并纠正指令偏差，以提高泛化能力
研究人员开发了一个新的诊断框架，用于识别和量化机器人操作策略中的指令因子偏差。这种偏差是指策略过度依赖颜色等主导线索，而不是基于语言进行理解，其测量指标包括因子主导率（FDR）和因子主导层级（FDH）。对六个基础策略的评估显示，颜色是最主导的因子，动词/尺寸是最不被理解的因子，存在一致的层级关系。通过重新分配资源给理解不足的因子，一种有偏差意识的数据收集策略在模拟和真实机器人上都证明了更高的样本效率和泛化能力。
-
新研究论文详述用于复杂推理的课程学习
一篇题为《Learning to Reason with Curriculum II: Compositional Generalization》的新研究论文探讨了如何将复杂问题分解为更简单的子问题，从而实现更高效的学习。该研究侧重于模拟半自动机，证明与直接方法相比，基于课程的方法显著减少了所需的监督量。这种方法在监督微调和具有可验证奖励的强化学习等场景中显示出提高学习效率的潜力。
-
Apple 研究人员为扩散模型泛化识别局部分数
Apple 的研究论文探讨了条件扩散模型中组合泛化机制，特别关注这些模型如何处理生成比训练时更多的对象的图像。研究确定“局部条件分数”是实现此能力的关键因素，表明成功进行长度泛化的模型表现出这些分数，而失败的模型则没有。研究还提出了一种强制执行这些局部分数的方法，该方法成功地使先前表现不佳的模型实现了长度泛化。