Gumbel
PulseAugur coverage of Gumbel — every cluster mentioning Gumbel across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
FlashSampling 将精确采样集成到 LM 头中以加快令牌生成速度
研究人员开发了 FlashSampling,这是一种用于大词汇量语言模型的精确采样新方法,它将采样直接集成到语言模型头的矩阵乘法中。该方法避免在高速缓存存储器 (High Bandwidth Memory) 中具体化整个 logits 张量,而是在芯片上逐块计算 logits 并添加 Gumbel 噪声。FlashSampling 可将每个输出令牌的时间减少高达 10%,并通过将 GPU 到 GPU 通信与计算重叠来提高效率。
-
新的贝叶斯方法改进了试验结果在更广泛人群中的适用性
研究人员开发了一个新的统计框架,称为贝叶斯倾向得分预测推断(Bayesian Propensity Score Predictive Inference, PSPI),以更好地将临床试验的发现推广到更广泛的患者人群。该方法结合了贝叶斯加性回归树和自然三次样条,以模拟在不同协变量分布下变化的治疗效果。PSPI旨在改进结果估计,特别是在试验人群和目标人群之间协变量存在显著变化时,并在模拟中显示出优于现有方法的性能。
-
新研究探索AI文本生成鲁棒水印 · 跟踪2个来源
两篇新研究论文提出检测AI生成文本中水印的方法,针对不同类型的语言模型。第一篇论文《语言模型水印检测的预测似然比》侧重于自回归模型,并引入了一种通过平均概率赤字中的不确定性来提高鲁棒性的检测测试。第二篇论文《DenMark:扩散语言模型的鲁棒语义水印》提出了一个专门针对非自回归扩散语言模型的框架,通过将水印集成到去噪过程中并使用语义前瞻来实现。
-
新方法通过秩条件样本重用增强Plackett-Luce目标
研究人员开发了一种用于Plackett-Luce Best-of-K目标中秩条件样本重用的新颖方法。这种新方法通过提供无偏的得分函数代理梯度来解决现有估计量中的偏差。该方法利用动态规划来折叠子集和,并提供具有O(n log n + nKQ)复杂度的固定Q正交评估。