beam search
PulseAugur coverage of beam search — every cluster mentioning beam search across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LLM 解码策略：贪婪搜索、Beam Search、Sampling、Top-K 和 Top-P 详解
语言模型通过将概率分布转化为 token 序列来生成文本，不同的解码策略会导致不同的输出。贪婪解码在每一步选择最有可能的 token，这可能导致重复的文本。Beam search 保留多个序列以寻找整体上更好的句子，但可能产生平淡的结果。Sampling 方法，如 temperature、top-k 和 top-p（nucleus sampling），引入随机性以生成更多样化和富有创意的文本，现代模型通常将这些技术与重复惩罚相结合。
-
KV-PRM论文提出高效的多智能体LLM奖励建模方法
研究人员提出了一种名为KV-PRM的新方法，用于提高多智能体系统中使用的过程奖励模型（PRM）的效率。与现有的重新编码整个轨迹的基于文本的PRM不同，KV-PRM直接利用LLM推理过程中生成的KV缓存。这种方法将计算成本从O(L^2)显著降低到O(L)，使其更适合长上下文场景。在MATH、GSM8K和AIME等基准测试上的实证结果表明，KV-PRM在性能上能媲美或超越文本-PRM，同时在FLOPs、延迟和内存占用方面提供了显著的降低。
-
NextCrystal框架使用LLM进行高级晶体结构预测
研究人员开发了NextCrystal，一个新颖的晶体结构预测生成框架，该框架利用了大型语言模型和扩散骨干网络。该方法直接从原子化学计量学生成Wyckoff位点模式，无需数据库查找，并通过高效的束搜索解决了对称性执行的组合复杂性。NextCrystal在基准测试中展示了最先进的性能，并识别出一种新的、动态稳定的氧化铪(IV)相。
-
新框架自动压缩低功耗AI视觉模型
研究人员开发了AQ4SViT，一个自动化的框架，旨在压缩脉冲视觉Transformer (SViTs)，以用于资源受限的嵌入式AI系统。该新框架通过采用一种利用膜电位漂移作为性能代理的搜索门控策略，解决了手动量化的可扩展性问题。AQ4SViT提供两种搜索变体：贪婪搜索，速度更快但可能找到局部最优解；束搜索，速度较慢但旨在找到全局最优解。实验表明，AQ4SViT-Greedy可实现高达82.5%的内存节省，AQ4SViT-Beam可实现…
-
结构化网格描述符预测ARC-AGI求解器成功率
研究人员开发了一种使用结构化网格描述符来预测符号求解器在ARC-AGI任务上成功率的方法。在大量运行和不同的求解器架构中，这些在轨迹完成50%时测量的描述符能够有效地区分成功和失败的尝试。研究结果跨不同求解器具有普适性，并表明预测内容主要与单一的网格复杂度轴相关，为优化求解器效率提供了潜力。