ISMIR 2026

新的V2N系统可从视频转录钢琴音乐，提高音符偏移和力度预测

研究人员开发了V2N（Video to Notes）系统，这是一种新颖的视觉钢琴转录系统，仅凭视频输入即可预测音符的起始、结束、琴键按下和力度。与以往依赖音频的方法（难以处理延音踏板效果）不同，V2N使用共享的时间骨干网络和针对每帧监督训练的任务特定头部。这种多任务方法显著提高了偏移和力度预测的准确性，同时也增强了起始预测的准确性，在PianoVAM和R3基准测试上取得了新的最先进成果。