sudoku
PulseAugur coverage of sudoku — every cluster mentioning sudoku across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的LAW技术实现了语言模型的纯粹自回归
研究人员开发了一种名为LAW(Loopholing All the Way)的新语言建模技术,该技术完全依赖于自回归。该方法在去噪过程中传播预期的嵌入,仅在最后一步解码标记。与现有的扩散模型相比,LAW在数独和迷宫等任务上表现出优越的性能。它在GSM8K基准测试上也显示出显著的改进,并在OpenWebText等大型文本数据集上接近自回归模型的准确率。
-
新的贝叶斯一致退火方法增强了流语言模型
研究人员推出了一种新颖的贝叶斯一致退火(BCT)方法,通过将温度缩放明确纳入生成过程来提高流语言模型的性能。传统的温度缩放是在事后应用的,这会导致流语言模型出现不匹配,因为去噪器是在原始状态下训练的,而退火后的后验权重与未退火的动力学相结合。BCT 通过在退火后的中间状态下训练去噪器,并使用相应的退火动力学调整端点分布来解决这个问题。该方法在 GSM8K 和 Sudoku 等基准测试中显示出实证性能的提升,与不经训练的变体相比,尤其是…
-
新的商数递归推理器架构提高了AI推理收敛性
研究人员推出了一种新颖的商数递归推理器(QRR),这是一种设计用于改善AI模型推理收敛性的规范等变递归架构。QRR解决了非平稳潜在动力学(如振荡和漂移)的问题,这些问题会通过施加瓶颈来阻碍收敛。该架构采用了与推理相关动力学动态解耦的旋转自由度,从而实现稳定且更快的收敛。实证结果表明,QRR在数独、迷宫和Mini-ARC等任务上的表现与最近的递归推理模型相当或更优。
-
AI模型在数独等离散世界间的知识迁移能力接受测试
研究人员开发了一个新颖的框架,通过测试深度递归模型在简单离散世界(如数独类谜题)之间迁移知识的能力,来评估其通用智能。该模型接受了各种规则组合的训练,然后在新谜题、规则组合和全新的规则实例上进行测试。当遇到先前学习规则的新组合时,模型表现出色,在提供符号规则描述时准确率达到99%,而在提供已解决的示例时准确率则为95%。然而,当遇到训练期间从未共同出现过的规则实例时,其性能下降到基线以下,表明其泛化能力存在局限性。
-
新型验证器系统通过分级反馈增强多模态智能
研究人员开发了OmniVerifier-C1,这是一种新颖的分解分级验证器,旨在通过超越简单的二元判断来增强多模态智能。该系统将复杂规则分解为更小的组成部分,并分配分数以提供更详细的反馈。该方法利用解耦强化学习策略进行训练,并在文本到图像场景以及迷宫和数独等结构化世界建模任务中显示出改进的泛化能力。
-
新指标旨在为数独难度评级提供通用标准 · 跟踪 2 个来源
研究人员开发了新的方法来表征数独谜题的难度,旨在创建一个通用的评级系统。一种方法将数独谜题转换为可满足性(SAT)问题,分析子句长度分布来衡量结构复杂性。另一种方法在回溯算法中模拟人类解题策略,计算策略应用次数来衡量难度。这些指标已显示出与现有网站标记的难度有很强的相关性,从而能够跨不同平台进行一致的分类。
-
Next-Concept Modeling 通过并行、粗粒度到细粒度的方法加速文本生成
研究人员推出了一种名为 Next-Concept Modeling (NCM) 的新颖两阶段框架,旨在加速文本生成。NCM 利用多尺度残差 VQ-VAE 将文本编码为离散代码的层次结构,然后由 Transformer 并行生成这些代码。在 LM1B、OpenWebText 和 XSum 数据集等各种基准测试中,该方法在速度和质量方面均显著优于扩散语言模型 (DLM)。与自回归模型和扩散模型相比,NCM 在数独等推理任务上也表现出更优越的性能。
-
AI模型通过新的元胞自动机方法解决空间推理问题 · 已追踪2个来源
两篇新的研究论文探讨了AI模型空间推理的先进方法。第一篇论文介绍了用于Transformer的“空间归纳头”,使其能够通过重构空间邻域来处理多维数据,例如元胞自动机。第二篇论文提出了“自适应神经元胞自动机”(aNCA),它使用可变形卷积来动态调整其感知场,以改进基于网格数据的二维空间推理,在基于图像的谜题(如数独)上取得了最先进的成果。
-
新的AI框架通过流模型和潜在思维增强推理能力
研究人员正在探索增强AI模型推理能力的新方法,特别是关注流模型和潜在推理。一种方法是Unrolled Flow Models,它使用由两层Transformer参数化的基于Transformer的流,通过训练连续步骤相互构建来提高在ProsQA、Sudoku和Maze等任务上的推理能力。另一个框架Flow-based Latent Reasoning (FLaRe)使LLM在口头回答之前在连续的潜在空间中思考,旨在提高有用性、多样性、…
-
新型分层推理模型实现高级人工智能能力
研究人员推出了一种新颖的循环神经网络架构——分层推理模型(HRM),旨在增强人工智能的推理能力。与传统的思维链方法不同,HRM采用一个由抽象规划和详细计算组成的双模块系统,能够在没有明确中间监督的情况下,通过单次前向传播执行复杂任务。该模型仅有2700万个参数,在数独和迷宫导航等任务上表现出色,并在抽象与推理语料库(ARC)基准测试中超越了更大的模型,预示着通用推理系统取得了重大进展。
-
新研究探索用于数独等约束满足问题的p进编码
一篇新发表在arXiv上的研究论文详细介绍了一种使用带符号p进残差目标来编码有限域约束的方法。该方法以数独案例研究为例,展示了如何在不需要独热编码的情况下表示全异约束和子句满足。论文还介绍了相关的工具和平台,用于访问代码、数据和相关研究。
-
G-RRM 求解器将数独速度提升 33 倍;GitHub 存储库已标记行业代码
一种名为 G-RRM 的新方法通过将神经网络推理模型与传统 SAT 求解器集成,在解决数独谜题方面实现了 33 倍的速度提升。然而,这种性能提升取决于求解器有效排除错误路径的能力,而当这种能力受损时,速度提升会显著降低。另外,一个项目已用北美行业分类系统 (NAICS) 代码标记了超过 6,500 个 GitHub 存储库,旨在促进对开源代码起源的研究。
-
新基准MMGR测试超越视觉流畅性的多模态AI推理能力
研究人员推出了MMGR,这是一个新的基准,旨在评估多模态生成模型在视频、图像和语言输出方面的推理能力。该基准在抽象推理、具身导航和物理常识等领域的十项任务中,评估了五种关键的推理能力:物理、逻辑、二维空间、三维空间和时间。对最先进模型的初步评估显示,视觉输出质量与实际推理正确性之间存在显著差距,模型在数独和数学等符号任务上表现不佳,在导航任务中表现脆弱。
-
扩散模型适用于离散任务和最大熵生成
研究人员正在探索新颖的扩散模型技术,以提高在离散任务上的性能。一种方法是修改采样过程,以防止早期错误持续存在,从而显著提高数独和N皇后等问题的准确性。另一种方法是矩引导扩散(MGD),它将扩散模型与最大熵原理相结合,从有限信息中生成样本,为复杂科学领域的传统MCMC方法提供了一种更有效的替代方案。
-
新的DART框架改进了用于复杂任务的循环推理模型
研究人员推出了一种名为分布对抗循环训练(DART)的新型框架,旨在增强循环推理模型(RRMs)的学习能力。DART通过使用目标分布围绕正确解,并利用对抗性目标来指导模型,从而用分布式监督取代实例级监督,解决了在复杂任务上训练RRMs的挑战。这种方法提供了更丰富的学习信号,促进了更稳定的迭代计算和更高的解质量。在迷宫、国际象棋和数独等问题上进行测试时,与标签平滑和渐进式训练等现有方法相比,DART表现出更强的鲁棒性和稳定性。
-
Masked diffusion LLMs use EoS tokens for hidden reasoning
研究人员发现,掩码扩散大型语言模型(LLMs)可以利用序列结束(EoS)标记进行隐藏推理,从而提高其在复杂任务上的性能。通过将答案填充到超出正确长度的EoS标记,这些模型似乎利用这些标记的表示作为额外的计算能力。在加法、实体跟踪和数独等任务上使用LLaDA1.5和Dream-v0等模型进行的实验证实,添加EoS标记可以提高准确性。进一步的因果干预,即将EoS标记的隐藏状态转移,增加了反事实答案的可能性,表明这些标记具有潜在的推理能力。
-
新型图机器架构通过边机制增强AI推理能力
研究人员推出了一种名为Graph Machine的新型架构,旨在通过引入显式的基于边的机制来增强推理能力。该模型具有边增强注意力机制,其中边会影响节点交互;以及边中心引用机制,允许节点通过交换地址来更新其边。这些机制使得跨层的关系图能够动态构建和修改,在解决数独谜题方面表现优于标准的Transformer模型。
-
研究发现低精度Transformer可模拟图灵机
研究人员分析了标准Transformer解码器的表达能力,重点关注低精度和softmax注意力等实际方面。他们的工作通过证明这些实际配置仍能模拟图灵机,从而弥合了理论模型与现实世界Transformer之间的差距。研究还表明,总结的思维链范式对于这种模拟更有效,其扩展与模型大小相关,属于空间界限而非时间界限。
-
神经推理器充当单次预测器,而非迭代求解器
一篇新论文介绍了一种名为 Lattice Deduction Transformer (LDT) 的神经求解器,它与预期相反,在充满线索的数独游戏中充当单次预测器,而不是迭代推理器。研究表明,该模型在单次传递中就完成了大部分网格的填充,这种现象被称为“首次通过投毒”,即在任何搜索过程开始之前就自信地删除了错误的值。虽然添加诸如回溯之类的搜索机制可以显著减少冗余计算,但并不能提高准确性,这表明优化和样本效率是关键优势。该论文提出了两种干…
-
新颖的振荡神经网络方法解决了数独问题
研究人员开发了一种使用振荡神经网络(ONN)解决数独谜题的新颖方法。该方法将数独问题重新表述为图着色任务,并加入了一个额外的项来确保满足数独的特定约束。与现有的历史新闻网络(HNN)和ONN求解器相比,提出的求解器在4x4和9x9数独谜题上均取得了高精度,显示出更高的准确性。