Fisher information
PulseAugur coverage of Fisher information — every cluster mentioning Fisher information across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新研究表征了稀疏随机块模型中的信息-计算差距
研究人员表征了稀疏随机块模型中的信息-计算差距，重点关注具有多个社区的社区恢复。他们发现，在Kesten-Stigum阈值（$d\[lambda\]^2=1$）下，minimax风险等于Bayes风险，并且对于五个或更多社区，在此阈值以下存在一个窗口，低度规则表现不佳，而指数时间规则则成功。该研究还分析了来自循环计数的Fisher信息，显示仅在阈值以下收敛，并检查了信念传播在其无信息固定点处的行为，确定了与个性化PageRank相关的…
-
新的FDCU框架增强了LLM在对抗再训练攻击下的安全对齐能力
研究人员开发了一个名为FDCU的新框架，以提高大型语言模型（LLM）在对抗再训练攻击下的鲁棒性。当前的LLM安全对齐方法通常会创建一个容易被微调绕过的表面“抑制壳”，从而导致恶意行为的复现。FDCU通过双重约束强制实现真实的记忆删除来解决这个问题：它利用Fisher信息保留通用知识，并通过最小功能干预原则（PMFI）防止虚假抑制器的激活。实验表明，FDCU能有效拆解目标表示，在保持高通用效用的同时，提供针对再训练攻击的先进鲁棒性。
-
新的OVDU协议严格地从视觉语言模型中移除不想要的域
研究人员推出了一种名为开放词汇域遗忘（OVDU）的新协议，旨在严格地从视觉语言模型（VLMs）中移除特定的风格域。与先前仅过拟合到已见类域对的方法不同，OVDU确保域擦除是类无关的，并且能够迁移到未见类。提出的解决方案涉及一个参数编辑框架，该框架使用Fisher信息来隔离域敏感权重，并使用目标流形散射来破坏域的风格几何。在PACS、OfficeHome和DomainNet数据集上的实验表明，OVDU显著提高了开放词汇泛化能力，并实现了…
-
新方法优化多类分类风险的标签获取
研究人员开发了一种新颖的方法，用于优化多类分类任务中有限标注预算的分配。该方法结合了已获取标签的Fisher信息与多类超额风险的局部几何结构，推导出了一个获取标准。该标准优先考虑与扰动贝叶斯决策边界的参数方向高度一致的标签，而不是仅仅依赖于后验不确定性或全局参数信息。研究包括理论表征、自适应程序以及在高斯判别分析和卫星图像数据集上的实验验证，证明与基于不确定性的采样相比，在平均误差方面有潜在的改进。
-
新研究为有限纠缠的量子态层析成像设定了严格的下限
两篇新研究论文，一篇来自arXiv，另一篇由Hugging Face重点介绍，为量子态层析成像设定了严格的下限。这些研究侧重于测量仅限于作用于少量量子副本的场景，特别是最多$k$个新副本。研究结果表明，估计一个$d$维状态到迹距离$\epsilon$的副本复杂度近似为$\max\{d^3/(\sqrt{k}\epsilon^2), d^2/\epsilon^2\}$。这项工作通过消除对$k$相对于准确度的限制，改进了先前的理解，并为低…
-
新的 Hessian 分析方法有助于压缩十亿参数模型
研究人员开发了一种新颖的可扩展 Kronecker-基近似方法，用于分析十亿参数语言模型的 Hessian。该方法能够有效地捕捉跨层交互，而无需存储完整的 Fisher 矩阵，并揭示了值投影层始终是最敏感的组件。该近似方法与性能下降和恢复情况高度相关，为大型模型的引导式压缩和优化策略提供了实用的工具。
-
新方法解决具有信息缺失标签的半监督分类问题
研究人员开发了一种新的半监督分类方法，用于处理缺失标签的数据，特别解决了缺失标签的概率依赖于观测特征的情况。该方法将缺失机制建模为与Weibull混合分类器共享参数的特征依赖性随机缺失（MAR）过程。研究表征了决策区域，推导了分类器的Fisher信息，并分析了插件样本规则的预期错误率。数值模拟和硬盘故障数据分析表明，通过考虑特征依赖性标签缺失，可以潜在地提高分类准确性和决策边界估计。
-
新理论量化了Langevin-regularized SVGD的收敛性
本文介绍了一个新的理论框架，用于理解Langevin-regularized Stein Variational Gradient Descent (SVGD)。该研究为该方法建立了到目标分布的定量收敛保证和统一时间混沌传播。研究结果详细说明了Stein和Langevin组件如何共同作用来耗散相对熵，从而在某些对数条件下实现指数级收敛速率。此外，本文还提出了混沌传播的有限时间分析，在Wasserstein距离和核Stein差异方面提供…
-
新方法为对话推荐系统生成合成数据
研究人员开发了一种无需领域特定对话数据即可引导对话推荐系统（CRS）的方法。该方法利用非对话信号（如商品评论、元数据和用户-商品交互）生成合成对话监督。研究发现，这种合成数据在性能上始终优于零样本提示和基础合成基线，并且主动选择策略比随机抽样提高了数据效率。研究结果表明，即使在资源匮乏的情况下，非对话领域信号也为构建CRS提供了一种实用的方法。
-
新研究探讨用于分类的依赖于不确定性的缺失标签
一篇新的研究论文探讨了一种半监督分类方法，其中标签缺失的概率取决于观测到的特征和分类器的不确定性。这种方法将缺失不仅仅视为丢失的信息，而是视为由与分类器相关的机制生成的信号。该论文为这些依赖于不确定性的缺失标签开发了一种基于似然的信息论，并在各种模型规范下推导出了费舍尔信息分解和协方差分区。通过高斯混合模型和医学诊断示例进行的计算说明了该方法如何在固定的标记预算内提高估计和分类效率。
-
新的防御框架 GraphRP 保护 GNN 免受模型提取攻击
研究人员开发了 GraphRP，一个旨在保护图神经网络 (GNN) 免受模型提取攻击的新型防御框架。现有方法由于“欧氏偏差”而常常失效，该偏差未能考虑图拓扑结构，导致效用降低。GraphRP 采用一种结构感知门控机制来创建一个动态的“结构防火墙”，在阻止对手窃取模型知识产权的同时，保持合法查询的准确性。
-
新理论量化量子电路中的信息丢失
研究人员开发了一个理论框架，用于理解在使用固定计算基测量时，参数化量子电路中信息是如何丢失的。他们分析了量子Fisher信息、比特串分布中的完整Fisher信息以及对角读出空间中可用的最大响应。他们的发现表明，即使拥有完整的Pauli字符串范围，信息仍会大量丢失，尤其是在电路深度增加且状态切线框架接近Haar随机性时。
-
LLM 中的灾难性遗忘：微调如何侵蚀能力
微调大型语言模型可能导致灾难性遗忘，即模型在针对新目标进行优化时会丢失先前获得的能力。这种现象源于梯度下降，会导致模型的输出分布向微调数据的特征坍塌。研究人员在 InstructGPT 等模型中发现了这个问题，并探索了诸如混合预训练梯度或惩罚重要参数更改等缓解措施，尽管量化遗忘的确切程度仍然具有挑战性，需要针对特定任务进行评估。
-
通过策略梯度和信息几何探索GFlowNet训练方法 · 跟踪2个来源
两篇新研究论文探讨了生成流网络（GFlowNets）的高级训练方法。第一篇论文介绍了一个基于策略梯度的框架，该框架将GFlowNet的流平衡与强化学习的累积奖励联系起来，提供了新的基于策略的训练方法以及前向和后向策略优化的耦合策略。第二篇论文通过信息几何的视角来构建GFlowNet前向策略训练，利用Fisher-Rao度量和自然梯度来推导出高效的、结构感知的训练方法，这些方法可以通过实证来说明。
-
CalTwin 通过 Fisher 信息正则化改进医学世界模型
研究人员开发了 CalTwin，这是一种新颖的正则化技术，旨在提高医学世界模型的可靠性。该方法解决了两个关键问题：协变量偏移（源于不同医院和时间段的数据碎片化）和置信度失准（多步预测在高风险临床场景中过于自信）。通过结合基于 Fisher 信息的偏移惩罚和置信度失准惩罚，CalTwin 旨在为下游医学任务提供更准确、更校准的预测。
-
新的贝叶斯优化方法RAMBO解决了多模式搜索空间问题
研究人员开发了一种新的贝叶斯优化（BO）方法，称为RAMBO，旨在比标准BO更有效地处理多模式搜索空间。RAMBO利用高斯过程的Dirichlet过程混合模型自动识别数据中的不同模式，每种模式由独立的高斯过程建模。这种方法在分子构象优化、药物发现和聚变反应堆设计等应用中显示出改进。
-
新的 Fisher Widths 分析统计流形的复杂度
本文介绍了两个新的泛函：原始 Fisher 宽度和逆 Fisher 宽度，用于分析统计流形上的高斯宽度复杂度。这些宽度分别提供了对局部参数波动和各向异性高斯测量的互补见解。研究确立了这两个宽度之间的精确关系，表明 Fisher 各向异性不能同时相对于欧几里得尺度减小两者。
-
新数学论文详述Wasserstein空间上的优化
研究人员开发了在Wasserstein空间上优化泛函的新方法，Wasserstein空间是理解概率分布至关重要的数学概念。该工作为近邻下降方案建立了线性收敛性，放宽了对测地凸性的先前要求。这项进展利用了均匀对数Sobolev不等式和熵“三明治”引理，扩展了先前研究并解决了与方案中相对Fisher信息定义相关的挑战。
-
CoCurve 方法通过分析跨模块依赖性来剪枝大模型
研究人员开发了 CoCurve，一种新颖的、无需训练即可对大型语言模型 (LLM) 进行结构化剪枝的方法。与先前独立评估计算单元的方法不同，CoCurve 考虑了 Transformer 中注意力头和前馈网络之间的相互依赖性。通过分析协同剪枝曲率（量化同时移除多个单元所产生的额外损失），CoCurve 可以在无需微调或标签的情况下更有效地识别和移除冗余组件。
-
新的GFWSVD方法通过分析参数相关性来改进LLM压缩
研究人员开发了一种名为广义Fisher加权SVD（GFWSVD）的新型技术，用于压缩大型语言模型（LLM）。该方法通过同时考虑Fisher信息矩阵的对角线和非对角线元素来改进现有的压缩方法，更准确地反映参数的重要性。GFWSVD利用了Kronecker因子近似算法的可扩展适应性，使其能够处理大型模型。在MMLU基准测试上的评估中，GFWSVD在20倍压缩率下比仅依赖对角线近似的方法提高了5个百分点，优于FWSVD。