arXiv cs.LG
PulseAugur coverage of arXiv cs.LG — every cluster mentioning arXiv cs.LG across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的子图滤波器学习框架提供了改进的性能
研究人员开发了一个名为子图滤波器学习（SFL）的新框架，以解决图信号处理中的挑战，在这些挑战中，完整的图拓扑通常是不可用的。SFL使用子图支持的算子在部分观测下近似环境图滤波器，将问题表述为统计学习任务。所提出的方法引入了一个基于距离感知拉普拉斯构造的子图滤波器代数，它定义了一个结构化的滤波器类别以进行有效近似，并建立了性能风险界限。在真实数据集上的实验表明，SFL模型持续优于现有基线。
-
新框架评估多视图预训练中的查询可识别性
研究人员开发了一个正式框架，用于确定多视图预训练场景中的查询可识别性，其中来自多个来源的数据通过共享接口进行集成。他们证明了查询中的歧义是结构性的，无法通过简单地收集更多数据或训练更大的模型来解决。该研究引入了能够有效判断可识别性并找到最小接口添加以解决歧义的算法，实验证实了它们的有效性，并预测了仅依赖接口证据的估计器存在不可约误差下限。
-
新算法解决了线性动力学系统在线学习的复杂问题
研究人员开发了一种新的线性动力学系统（LDS）在线学习统一算法。该算法旨在实现亚线性遗憾，同时将其内存使用量调整为适应系统动力学的内在复杂性，而不是完整的隐藏状态维度。重点是具有低不稳定性复杂性的系统，这些系统是可稳定化的。所提出的算法处理所有LDS，包括不可对角化系统，其可学习参数数量为$\widetilde{O}(k)$，其中$k$代表不稳定性复杂性。理论下界证实$k$是一个有效的复杂性度量，实验结果表明其性能优于先前的方法。
-
研究发现：地理空间AI模型在农业领域的迁移能力较差
一篇新论文评估了三个地理空间基础模型——Prithvi、SpectralGPT和SatMAE——在农业应用中的有效性。研究发现，当迁移到新的地理区域时，这些模型的性能会显著下降，并且难以准确预测不太常见的作物。研究还强调，模型处理输入格式的差异使得直接进行架构比较变得复杂，这凸显了在农业地理空间AI领域制定区域感知评估标准的必要性。
-
新研究论文详述用于复杂推理的课程学习
一篇题为《Learning to Reason with Curriculum II: Compositional Generalization》的新研究论文探讨了如何将复杂问题分解为更简单的子问题，从而实现更高效的学习。该研究侧重于模拟半自动机，证明与直接方法相比，基于课程的方法显著减少了所需的监督量。这种方法在监督微调和具有可验证奖励的强化学习等场景中显示出提高学习效率的潜力。
-
已撤稿的arXiv论文为归一化嵌入中的余弦相似度辩护
这篇最初提交给arXiv的论文已被作者撤回。它旨在为学习嵌入中的余弦相似度辩护，认为先前识别出的与“规范”矩阵相关的歧义仅在嵌入未归一化时才存在。作者提出，通过在训练期间或之后将嵌入约束在单位球上，歧义就会消失。他们证明，在归一化嵌入上，余弦相似度与欧氏距离的平方的一半单调等价，这表明感知到的问题在于未能归一化，而不是余弦相似度本身。
-
新框架通过自洽路径统一生成模型
研究人员引入了一个新的生成模型理解框架，侧重于“自洽生成路径”的概念。该框架将路径定义为自洽的，如果它代表了容许局部变分传输校正的随机不动点。该理论产生了一个称为随机不动点路径残差（R-FPR）的度量，用于量化生成路径与其校正之间的差距，为诊断和改进各种生成模型提供了一个原则。
-
新型AI架构实现物理系统的认证零样本推理
研究人员开发了一种新颖的非对称双通路架构，用于物理信息学习，旨在提高跨不同系统配置的可迁移性。该方法使用带有特权模拟器数据的教师编码器和在稀疏场数据上训练的学生编码器，使学生能够通过单次前向传播进行推理，并带有迁移证书。该框架通过Wasserstein距离建立了迁移条件，并提供了零样本误差界限，在具有未见拓扑的电力系统估计方面取得了显著成功。
-
LLM选择性分类通过成对查询得到改进
研究人员开发了一种用于二元任务选择性分类的新方法，该方法特别适用于执行上下文学习的大型语言模型（LLM）。该技术涉及向同一模型提出额外的成对查询，以识别高错误样本，从而减少非拒绝数据点的预测错误。通过在合成和真实数据集上进行的实验证明，与仅依赖原始置信度估计相比，该方法旨在改善准确性-成本权衡。
-
新框架可从神经信号解码猴子全身运动
研究人员开发了一个新的框架，用于记录和模拟与猴子自然全身运动相关的神经活动。该系统结合了大规模皮层信号和多视角运动捕捉，以重建和解码复杂的运动。开发的自回归编码器-解码器模型能够仅凭神经信号准确预测逼真的全身运动学，为理解灵长类动物的运动控制提供了一种新颖的方法。
-
新算法增强了用于临床数据的贝叶斯网络分类器
研究人员开发了Baymex算法的并行版本，以提高离散化贝叶斯网络分类器学习的可扩展性。这种增强的算法自适应地引导优化以减少过拟合，并针对临床分类任务进行了配置。在真实临床数据集上的评估表明，并行Baymex算法在预测性能上与已建立的基线相当或更优，同时生成了更紧凑且临床上可解释的贝叶斯网络。
-
新的对抗性训练可防御大型语言模型免受不断演变的越狱攻击
研究人员开发了一种新颖的双层对抗性训练框架，旨在防御大型语言模型免受不断演变的越狱提示。该方法通过利用现有拒绝状态激活的无监督潜在方向发现来推断，从而模拟各种越狱激活。然后，该框架训练一个引导场，将这些模拟的对抗状态推入拒绝区域，同时保持模型的良性效用。该方法在三个大型语言模型和六个越狱家族中进行了测试，证明了强大的防御能力，将攻击成功率基本保持在 5% 以下，并通过在训练期间增加子空间覆盖率来提高泛化能力。
-
新的老虎机算法解决了频谱接入中的信道噪声问题
研究人员开发了一种用于机会频谱接入系统信道分配的新算法，解决了现有方法的局限性。该算法是一种上下文多玩多臂老虎机，通过使用信道状态信息作为上下文来考虑信道噪声。这种方法旨在减少遗憾并改善现实场景中的次优臂选择。
-
新研究详解宽神经网络中的特征学习
一篇新研究论文探讨了在最大更新参数化（$\mu$P）下，宽两层神经网络中的特征学习。该研究建立了四个关键的结构性结果，包括带噪声梯度下降的均值场极限的全局存在性和唯一性。它还表征了该极限的可识别性，并证明在特定条件下，长时极限测度的活动支撑集允许稀疏字典分解。该研究进一步将总特征学习误差分解为几个组成部分，对学习过程进行了详细分析。
-
研究发现 Min-Max 优化需要指数级查询
一篇新的研究论文探讨了非凸非凹函数 min-max 优化的计算复杂性。该研究表明，对于此类函数，找到近似驻点需要指数级的查询次数，尤其是在考虑近似误差和问题维度时。
-
新技术可从大脑活动中解码想象中的语音
研究人员开发了一种从大脑活动中解码想象中语音的新方法，解决了想象中语音数据集稀缺的问题。他们的方法使用了经过训练的音乐家的成对MEG记录，将想象中语音的神经反应映射到由听相同刺激引起的神经反应。该流程能够显著高于随机水平地解码想象中的词语，并且随着训练数据的增加，性能有所提高，这表明其可扩展性可用于脑机接口。