Artem Dementyev

PhaseCoder 使大语言模型能够理解空间音频，不受麦克风设置的限制

研究人员开发了 PhaseCoder，这是一种新颖的基于 Transformer 的编码器，旨在处理原始多通道音频和麦克风坐标，使多模态大语言模型能够理解空间音频信息。与之前的模型不同，PhaseCoder 对麦克风几何形状不敏感，可以在各种设备上部署。当使用 Gemma 3n 大语言模型进行微调时，PhaseCoder 会生成“空间音频令牌”，使大语言模型能够执行复杂اً的空间推理和定向转录任务。