Neighborhood Guided Efficient Autoregressive Set Transformer
PulseAugur coverage of Neighborhood Guided Efficient Autoregressive Set Transformer — every cluster mentioning Neighborhood Guided Efficient Autoregressive Set Transformer across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
ES-HyperNEAT 超参数优化使用 TPE 方法显示出潜力
一项新研究探索了使用树状结构 Parzen 估计器 (TPE) 方法优化 ES-HyperNEAT（一种神经进化算法）的超参数。研究人员针对 MNIST 分类任务调查了超过 30 亿种超参数组合，发现 TPE 的性能显著优于随机搜索。最佳配置在 MNIST 上达到了 29.00% 的准确率，并且比先前研究使用了更少的资源。该研究还考察了这些优化后的超参数在逻辑运算和 Fashion-MNIST 数据集上的可迁移性，结果显示在 Fash…
-
新的EMR-HyperNEAT方法通过张量化加速神经演化
研究人员开发了EMR-HyperNEAT，这是一种新颖的神经演化方法，可显著加速演化大规模神经网络基底的过程。该新方法通过预先评估所有分辨率下的所有位置，克服了先前基于四叉树技术的局限性，实现了并行处理并获得了显著的加速。实验表明，在XOR任务上GPU性能提高了12-34倍，并在各种基准测试中提高了求解率。
-
AI代理在没有适应度函数的情况下进化出复杂结构
研究人员开发了一个名为Genesis的新平台，该平台允许在不依赖设计者指定的适应度函数的情况下进化自组织代理。通过三个实验周期，他们证明了仅凭物理约束就可以维持进化活动，尽管它会达到复杂性的上限。代理介导的生态位构建不足以克服这一限制。然而，通过用组合模式生成网络（CPPN）间接编码替换传统基因组，并采用NEAT风格的物种形成，该系统在无适应度环境中显示出渐进式结构复杂化的早期迹象。
-
新的AI方法以更高的效率和可靠性优化模拟电路设计 · 跟踪3个来源
两篇新研究论文介绍了优化模拟电路的新颖方法。Lighthouse RL采用具有战略重置点的样本高效强化学习方法来提高性能和泛化能力。SPECS受NEAT启发，使用遗传算法进行联合拓扑和尺寸优化，在解决方案质量和可靠性方面优于现有方法。
-
Seq103框架发现参数更少的紧凑序列架构
研究人员开发了Seq103，一个新颖的神经进化框架，旨在发现紧凑序列架构。该统一系统利用共享的进化骨干和可选的循环扩展来处理步进循环和样本前馈序列分类任务。Seq103在各种文本分类和时间序列数据集上，在保留高百分比基线准确性的同时，展示了显著的参数减少。
-
NEAT transformer以最先进的速度和准确性生成3D分子
研究人员开发了NEAT，一种用于3D分子生成的新型自回归集合Transformer。与依赖原子顺序的先前方法不同，NEAT将分子视为集合，并使用邻域引导的训练策略来确保排列不变性。这种方法使模型能够学习令牌的顺序无关分布，从而在QM9和GEOM-Drugs等数据集上实现最先进的生成质量，同时比现有方法快得多。
-
在代码生成中随时思考
研究人员推出了一种名为“Think-Anywhere”的新型大型语言模型推理机制，它允许模型在生成代码的过程中随时进行思考，而不仅仅是在开始时。这种方法通过在需要时自适应地调用推理，在多个代码生成基准测试中取得了最先进的性能。另外，一项针对小型语言模型（1-3B参数）的研究发现，使用执行反馈进行自我完善可以显著提高代码生成能力，其效果优于复杂的流水线结构。该研究还强调，在流水线中，专门的代码模型比通用模型更有效，并且提前停止对于完善循环至关重要。