Attention Sink Anchored Pruning
PulseAugur coverage of Attention Sink Anchored Pruning — every cluster mentioning Attention Sink Anchored Pruning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的ASAp算法改进了LLM的语法对齐解码
研究人员开发了一种名为自适应采样近似预期未来（ASAp）的新解码算法，以解决大型语言模型（LLM）语法约束解码的局限性。现有方法可能会扭曲LLM的输出分布，即使在语法正确的情况下也会导致结果质量下降。ASAp旨在确保输出既符合语法，又与LLM的原始概率分布保持一致，其在代码生成和结构化NLP任务上的表现证明了这一点。
-
研究发现：LLM 论文评分者存在显著的评分偏见和版本不稳定性
一篇新发表在 arXiv 上的研究论文，考察了大型语言模型（LLM）作为论文评分者的可靠性和一致性。该研究将 LLM 视为人类评分者，发现在不同的 LLM 评分者和版本之间存在显著的评分偏见和版本不稳定性。尽管 LLM 表现出一定的自我一致性，但其准确性并未达到人类水平，并且在适当校准后，其表现出的“光环效应”与训练有素的人类评分者相当。
-
新的ICLE++语料库推动自动作文评分研究
研究人员推出ICLE++，这是一个旨在推进自动作文评分（AES）的新学生作文语料库。该语料库包含整体评分和特定特征标注，旨在解决现有数据集（如ASAP）的局限性。ICLE++旨在测试AES模型的可泛化性，并促进多特征和跨提示评分的研究。
-
ASAP框架通过代理-系统协同设计增强机器学习超参数优化
研究人员开发了ASAP，一种用于机器学习实验中超参数优化（HPO）的新型代理-系统协同设计框架。ASAP通过整合多样化的优化器池、允许LLM选择建议以及优化系统循环以减少挂钟时间，解决了现有HPO工具的局限性。与单一工具替代方案相比，这种方法旨在提高样本效率并处理更广泛的问题。
-
新的ASAP框架增强了医学扫描表示学习
研究人员推出了一种新的预训练框架ASAP，旨在改进医学体数据（如胸部CT）表示的学习。该框架整合了解剖学知识，并将放射学报告中的文本发现动态地链接到扫描中的特定区域。ASAP在广泛的下游任务中展现了最先进的性能，尤其在监督有限或分布偏移的情况下表现出色。
-
New AI Framework ASAP Improves Anatomical Accuracy in Human Image Generation
研究人员开发了一个名为 Alignment via Synthetic Anatomical Preference (ASAP) 的新框架，以提高 AI 生成人体图像的解剖学准确性。ASAP 通过创建突出解剖学错误的合成偏好对数据集来解决现有方法的局限性。这种方法使用局部退化机制引入有针对性的错误，从而更有效地训练文本到图像模型。该框架还包括局部版本的 Direct Preference Optimization (DPO) 和一个用…
-
ASAP 框架修剪 Vision Transformer 令牌，速度提升 48%
研究人员开发了一个名为 ASAP（Attention Sink Anchored Pruning）的无训练框架，以解决 Vision Transformers (ViTs) 的计算挑战。ASAP 将 ViTs 中的信息流建模为一种懒惰随机游走，识别并利用“注意力汇聚”现象来修剪信息量低的令牌。据报道，该方法在各种视觉任务中将吞吐量加速高达 48%，同时保持或提高了准确性。