研究人员开发了V2N（Video to Notes）系统，这是一种新颖的视觉钢琴转录系统，仅凭视频输入即可预测音符的起始、结束、琴键按下和力度。与以往依赖音频的方法（难以处理延音踏板效果）不同，V2N使用共享的时间骨干网络和针对每帧监督训练的任务特定头部。这种多任务方法显著提高了偏移和力度预测的准确性，同时也增强了起始预测的准确性，在PianoVAM和R3基准测试上取得了新的最先进成果。 AI
影响 该系统提高了AI从视觉数据解释复杂音乐表演的能力，可能对音乐信息检索和AI辅助作曲工具有影响。
排序理由 该集群描述了一篇详细介绍新颖视觉钢琴转录系统的新研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.03419v1 Announce Type: cross Abstract: Audio-based piano transcription performs well on onset, pitch, and velocity, but the sustain pedal lets sound persist long after key release, so audio systems predict pedal-extended offsets rather than physical key release. Yet ex…
Audio-based piano transcription performs well on onset, pitch, and velocity, but the sustain pedal lets sound persist long after key release, so audio systems predict pedal-extended offsets rather than physical key release. Yet existing Visual Piano Transcription (VPT) systems fo…