Visual Piano Transcription

新的V2N系统提高了视觉钢琴转录的准确性

研究人员开发了V2N，一种用于视觉钢琴转录（VPT）的新型系统，该系统解决了现有基于音频和视觉转录方法的局限性。V2N采用共享的时间骨干网络和特定任务的头部，用于音符起始、音符结束、琴键保持和力度预测，并进行逐帧监督训练。这种多任务方法显著提高了音符结束和力度预测的准确性，同时也提高了音符起始的准确性，在PianoVAM和R3基准测试中创下了新的最先进水平。