Attention Sink Anchored Pruning
PulseAugur coverage of Attention Sink Anchored Pruning — every cluster mentioning Attention Sink Anchored Pruning across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
DuET Transformer 模型增强了钢琴演奏到乐谱的转录
研究人员开发了 DuET，一种新颖的双编码器 Transformer 模型，用于将钢琴演奏转录成乐谱。该模型通过使用音符编码器和帧编码器之间的双向交叉注意力，联合学习音符级转录和帧级节拍跟踪。DuET 还引入了 TimeRoPE 和 Time-Pitch 旋转位置编码，以建立共享的演奏时间参考并编码时间和音高关系。在 ASAP 和 Gangqinpu 数据集上的评估表明，DuET 提高了乐谱的时间精度和记谱时长，显著降低了 Gangq…
-
DuET transformer 模型提高了钢琴转录的准确性
研究人员开发了 DuET，这是一种新颖的双编码器 transformer 模型，用于将钢琴演奏转录为乐谱。该模型联合处理音符级转录和节拍跟踪，提高了所得乐谱在时间和时长上的准确性。DuET 利用双向交叉注意力以及新的基于时间的 positional encoding 方法（TimeRoPE 和 TPRoPE）来更好地解释时间和音高关系。在 ASAP 和 Gangqinpu 数据集上的评估表明，与现有方法相比，转录错误率显著降低。
-
新的ASAP框架在预训练期间评估LLM的代理能力
研究人员开发了ASAP，一个旨在评估大型语言模型在预训练阶段的代理能力的新框架。与使用静态任务或似然代理的现有方法不同，ASAP采用交互式端到端任务。这种方法通过结构化的轨迹延续和最小恢复机制来调整代理脚手架，从而无需将其转换为聊天代理即可直接评估模型在动态环境中的表现。该框架在区分不同模型和预训练检查点的性能方面显示出潜力，为开发与代理相关的技能提供了见解。
-
人形机器人打羽毛球，展示先进的AI策略和控制能力
东毅科技开发出了一款能够打羽毛球的人形机器人，展示了先进的动态运动控制和策略性打法。该机器人身高1.35米，通过协调其“小脑”进行精确执行和“大脑”进行战略决策，能够进行超过40拍的连续对打。该系统采用多判别器方法学习多样的击球风格，并使用学习到的技能选择器来选择应对来球的最佳技术，使其能够覆盖4.4x4.4米的场地。
-
新竞技场连接大语言模型红队攻击与蓝队防御
研究人员开发了ACEA，一个对抗性协同进化竞技场，旨在通过头对头的方式让红队攻击与蓝队防御相互对抗来测试大语言模型（LLMs）。该平台通过标准化的HTTP协议连接各种攻击和防御项目，允许模型无关的参与。ACEA包含一种评估方法，使用种子秘密来区分真实数据泄露与幻觉，并独立于防御成功与否来衡量原始攻击效力。该系统还具有实时可视化和详细报告，以查明失败之处，并提供一个可选的改进循环，为适应性团队提供咨询提示。
-
新的ASAp算法改进了LLM的语法对齐解码
研究人员开发了一种名为自适应采样近似预期未来（ASAp）的新解码算法，以解决大型语言模型（LLM）语法约束解码的局限性。现有方法可能会扭曲LLM的输出分布，即使在语法正确的情况下也会导致结果质量下降。ASAp旨在确保输出既符合语法，又与LLM的原始概率分布保持一致，其在代码生成和结构化NLP任务上的表现证明了这一点。
-
研究发现：LLM 论文评分者存在显著的评分偏见和版本不稳定性
一篇新发表在 arXiv 上的研究论文，考察了大型语言模型（LLM）作为论文评分者的可靠性和一致性。该研究将 LLM 视为人类评分者，发现在不同的 LLM 评分者和版本之间存在显著的评分偏见和版本不稳定性。尽管 LLM 表现出一定的自我一致性，但其准确性并未达到人类水平，并且在适当校准后，其表现出的“光环效应”与训练有素的人类评分者相当。
-
新的ICLE++语料库推动自动作文评分研究
研究人员推出ICLE++，这是一个旨在推进自动作文评分（AES）的新学生作文语料库。该语料库包含整体评分和特定特征标注，旨在解决现有数据集（如ASAP）的局限性。ICLE++旨在测试AES模型的可泛化性，并促进多特征和跨提示评分的研究。
-
ASAP框架通过代理-系统协同设计增强机器学习超参数优化
研究人员开发了ASAP，一种用于机器学习实验中超参数优化（HPO）的新型代理-系统协同设计框架。ASAP通过整合多样化的优化器池、允许LLM选择建议以及优化系统循环以减少挂钟时间，解决了现有HPO工具的局限性。与单一工具替代方案相比，这种方法旨在提高样本效率并处理更广泛的问题。
-
新的ASAP框架增强了医学扫描表示学习
研究人员推出了一种新的预训练框架ASAP，旨在改进医学体数据（如胸部CT）表示的学习。该框架整合了解剖学知识，并将放射学报告中的文本发现动态地链接到扫描中的特定区域。ASAP在广泛的下游任务中展现了最先进的性能，尤其在监督有限或分布偏移的情况下表现出色。
-
New AI Framework ASAP Improves Anatomical Accuracy in Human Image Generation
研究人员开发了一个名为 Alignment via Synthetic Anatomical Preference (ASAP) 的新框架，以提高 AI 生成人体图像的解剖学准确性。ASAP 通过创建突出解剖学错误的合成偏好对数据集来解决现有方法的局限性。这种方法使用局部退化机制引入有针对性的错误，从而更有效地训练文本到图像模型。该框架还包括局部版本的 Direct Preference Optimization (DPO) 和一个用…
-
ASAP 框架修剪 Vision Transformer 令牌，速度提升 48%
研究人员开发了一个名为 ASAP（Attention Sink Anchored Pruning）的无训练框架，以解决 Vision Transformers (ViTs) 的计算挑战。ASAP 将 ViTs 中的信息流建模为一种懒惰随机游走，识别并利用“注意力汇聚”现象来修剪信息量低的令牌。据报道，该方法在各种视觉任务中将吞吐量加速高达 48%，同时保持或提高了准确性。