Bayes' theorem
PulseAugur coverage of Bayes' theorem — every cluster mentioning Bayes' theorem across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
新研究探讨大型语言模型在不同语言和任务中的不确定性估计 · 跟踪 4 个来源
研究人员正在探索提高大型语言模型 (LLM) 在各种语言和任务中的不确定性估计的方法。一项研究发现，即使问题是低资源语言，提示 LLM 用英语进行推理也能显著提高不确定性估计性能。另一篇论文提出了一个框架，将 LLM 的不确定性分解为输入歧义、知识差距和解码随机性，从而为审计可靠性提供更细致的理解。此外，一种新方法使用知识蒸馏来创建高效的、单通道的 LLM 进行不确定性估计，其性能与计算密集型方法相当。
-
New Bayesian framework evaluates scenario compatibility in generative population synthesis
研究人员开发了一个新的贝叶斯框架，用于评估生成式人口合成模型中场景目标的兼容性。该框架利用了人口感知条件变分自编码器来学习合理的人口结构，并使用有效样本量（ESS）来量化场景兼容性。该方法揭示了场景目标的影响取决于其与模型学习到的联合结构的对齐程度，当目标超出模型先验支持范围时，会识别出潜在的结构性故障模式。这种方法为评估交通规划和预测中的场景可行性和结构一致性提供了一个概率诊断工具。
-
AI中建模概念的概率框架
本文深入探讨了John Wentworth和David Lorell用于在智能体中建模概念的概率和贝叶斯框架。作者澄清说，Wentworth的观点并非所有智能体都进行实际的贝叶斯计算，而是概率模型有助于理解进化行为并近似高级智能体复杂的内部运作。讨论强调了这些模型如何在高度详细的、特定硬件的方法与抽象的哲学方法之间提供一个中间地带，为推理概念表示提供了一个有用的视角。
-
新的STEMGym基准突出显示感知管线在自主显微镜中的重要性
一个名为STEMGym的新基准已被开发出来，用于评估自主电子显微镜中的序贯决策。该基准模拟了跨越各种材料和任务的15个不同的STEM世界，重点是在严格的电子剂量预算下优化信息获取。使用STEMGym的研究表明，感知管线，特别是卷积神经网络（CNN），是剂量效率最关键的因素，其性能显著优于导航策略的进步。
-
个性化匹配的大语言模型在药物使用者污名化支持方面效果不一
一篇新的arXiv论文探讨了个性化条件化大语言模型（LLMs）为药物使用者提供支持的有效性，重点关注自我污名化的细微表达。研究人员开发了一种方法，根据用户在线表达的自我污名化将其分为四种不同的个性化类型，在个性化识别方面优于标准大语言模型基线。然而，专家评估揭示了临床针对性、个性化匹配的响应与整体偏好泛化共情之间的张力，这表明需要更复杂的评估标准。
-
新的拉普拉斯-费舍尔门恒等式增强了贝叶斯逆问题的评分估计
研究人员开发了一种名为拉普拉斯-费舍尔门恒等式（LFGI）的新方法，用于从非归一化目标进行采样时的评分估计。该方法使用矩阵值混合系数（门）来优化条件风险最小化。推导了LFGI公式，并证明其在不改变估计量期望值的情况下降低了方差。该方法已应用于贝叶斯逆问题的归一化密度评估，改进了密度校准和采样诊断。
-
新研究表明，尽管存在顺序敏感性，LLM 仍是贝叶斯预测器
一篇新的研究论文提出，大型语言模型（LLM）可以被视为贝叶斯预测器，即使它们的内部机制不完全符合传统的贝叶斯预期。该研究表明，虽然贝叶斯模型中的精确后验预测对于任务保持不变的排序是不变的，但 Transformer 可以根据序列化顺序改变下一个 token 的概率。然而，该论文认为，这种偏差并不会使其贝叶斯竞争力无效，因为过度的 Prequential 编码长度与预测的 KL 散度直接相关。在 Qwen2.5 模型上的实验表明，它们的…
-
新研究探索具有p-指数尾部的贝叶斯后验分布适应
一篇新的研究论文探讨了如何在非参数设置中，通过使用具有p-指数尾部的先验来改进贝叶斯后验分布。研究表明，随着'p'的减小，收缩率得到提高，在特定的p到0的范围内实现了对平滑度的完全适应。应用包括白噪声回归中的序列先验和浅层ReLU神经网络，模拟显示了理论发现的有力实证支持。
-
新研究模拟了从交互式广告中推断属性
研究人员开发了一种从交互式定向广告系统中推断敏感用户属性的方法。该研究将广告渠道建模为一个嘈杂的预言机，分离了定位谓词、曝光、交互和披露，以捕捉资格与广告商可见性之间的差距。使用合成人群和模拟器创建了一个可复现的基准来评估各种推断攻击，发现具有身份曝光的重复广告系列会产生可衡量但有限的推断信号。研究强调披露策略是最强的控制手段，聚合报告和随机披露显著减少了释放的信号。
-
新的贝叶斯模型揭示国际贸易数据的复杂性
研究人员开发了一种新的贝叶斯分层张量分解模型，用于分析稀疏、半连续的张量数据，特别适用于国际贸易流等货币价值的多向数据集。该模型通过将潜在泊松率张量与条件伽马模型耦合，来分离正观测值的发生和幅度。为了处理大型数据集，采用了一种混合变分-蒙特卡洛算法，该算法已应用于约6000万个贸易流，以揭示出口商、进口商、产品和年份之间的多向依赖关系。
-
新库Dynestyx简化了机器学习的状态空间模型
研究人员推出了一款名为Dynestyx的新概率编程库，旨在简化状态空间模型（SSM）与现代概率编程语言的集成。该库通过提供一个统一的接口来指定先验、对混合效应数据进行推断以及量化状态和参数估计中的不确定性，旨在使动态系统的高级方法更容易被从业者使用。Dynestyx旨在简化统计学、信号处理和机器学习应用中的贝叶斯工作流程。
-
贝叶斯主动学习提升认知实验设计
研究人员开发了一种新的贝叶斯主动学习方法用于认知实验，超越了一维适应。该方法在虚拟现实工作记忆任务中得到验证，控制两个变量：空间负荷（L）和特征绑定负荷（K）。系统使用高斯过程分类器，根据后验不确定性指导刺激采集，估计（L, K）上的表现曲面，而非单一阈值。该方法需要大约30个样本即可准确拟合模型，并揭示了空间负荷与特征绑定负荷之间相互作用的个体差异。
-
新论文探讨深度神经网络更快的量化不确定性方法
研究人员在arXiv上发表了一篇关于深度神经网络的基于评分的鞅后验（SMPs）的论文。该方法为机器学习中量化不确定性的传统马尔可夫链蒙特卡洛技术提供了一种潜在的更快替代方案。论文探讨了SMPs在深度神经网络中推断参数的应用，并将其功效与现有的蒙特卡洛方法进行了比较。
-
LessWrong 作者质疑概率的基本性质
LessWrong 上一系列新帖子探讨了概率的基本性质，质疑其是否是理解不确定性的最恰当概念。作者旨在借鉴多位研究者的工作，为贝叶斯先验、伦理学和其他复杂问题构建一个统一的框架。这篇初步的帖子批评了现有的概率定义，包括频率主义和主观贝叶斯观点，并认为它们不足以应对现实世界的预测和主观信念。
-
新的贝叶斯框架优化神经网络学习率
研究人员引入了一个新颖的概率框架来优化神经网络训练中的学习率，超越了经验性的试错法。这种新方法将经典的贝叶斯统计发展为一种双贝叶斯决策机制。该框架理论上推导出了最优学习率，并通过在各种分类、分割和检测任务上的实验进行了验证。
-
AI4BayesCode 将自然语言转换为经过验证的贝叶斯采样器
研究人员开发了 AI4BayesCode，一个旨在将贝叶斯模型自然语言描述转换为经过验证的马尔可夫链蒙特卡洛 (MCMC) 采样器的系统。这种由 LLM 驱动的方法旨在通过将模型分解为模块化采样块并验证规范和生成的代码来克服 MCMC 工作流程中的编码和计算瓶颈。该系统还引入了一种新颖的有状态编码范例，用于在更大的 MCMC 程序中组合这些模块化组件，实验证明了其能够根据文本描述实现各种贝叶斯模型。
-
新理论通过贝叶斯推理解释 Transformer 的泛化延迟
研究人员提出了一个新理论，解释了 Transformer 模型在记忆训练数据后为何会延迟泛化。该理论将注意力机制视为任务依赖图上的隐式贝叶斯后验，表明泛化需要合适的 MLP 容量和新颖的贝叶斯结构条件。该条件要求注意力必须为所有信息性 token 分配足够的权重，其失败会导致结构推理延迟，而可以通过特定干预措施来规避。
-
贝叶斯框架改进了具有异质性数据的因果结构学习
研究人员开发了一种新的贝叶斯框架，用于从异质性数据中学习因果结构。该方法利用数据集之间的差异来提高因果顺序估计的准确性，最多可识别两个排列。所提出的方法包括一种新颖的随机到随机提议邻域，用于高维高斯有向无环图模型中的高效后验推断，并在生物数据分析中展示了强大的实证性能和实际效用。
-
新AI框架“贝叶斯反射”将在线学习与自主神经系统类比相结合
一篇新论文提出了“贝叶斯反射”作为AI在线学习的框架，并将其与自主神经系统进行类比。该方法使用概率表示、用于顺序更新的贝叶斯定理以及由不确定性驱动的行动，以在动态环境中维持平衡。该论文回顾了各种在线贝叶斯方法和计算原理，并将该框架扩展到气候模型评估、深度架构甚至素数分布建模等应用，后者发现了184个强梅森素数候选数。
-
新框架助力生产系统自信迁移LLM模型
研究人员开发了一个框架，帮助组织在底层大型语言模型（LLM）过时或需要更换时，能够自信地迁移其生产系统。该框架利用贝叶斯统计方法，将自动化评估指标与人类判断进行校准，即使在最少的人类反馈下也能进行可靠的模型比较。该系统已成功应用于处理每月数百万次交互的商业问答服务，确保基于正确性、拒绝行为和风格一致性选择合适的替换模型。