实体
audio large language models
audio large language models
PulseAugur coverage of audio large language models — every cluster mentioning audio large language models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
音频大语言模型统一语音编辑检测与本地化
研究人员开发了一个新的框架，利用音频大语言模型统一语音编辑检测与内容本地化。该方法通过将任务重塑为结构化文本生成问题，解决了现有方法在删除类编辑方面的局限性。该框架包含一个名为AiEdit的大规模双语数据集，其中包含更多种类的真实编辑操作。
-
新框架提高音频大语言模型在噪声下的鲁棒性
研究人员开发了EchoDistill，一个新颖的自蒸馏框架，旨在增强音频大语言模型（ALLMs）在真实世界噪声下的鲁棒性。该方法使用策略优化来指导学生模型的响应，将嘈杂的学生模型与来自教师模型的清洁音频参考进行对齐。实验表明，EchoDistill在嘈杂条件下显著提高了语义可靠性和任务性能，在GSR和准确率等指标上取得了显著的提升。
-
SpeakerLLM 以说话人特定理解能力推动音频AI发展
研究人员开发了SpeakerLLM，一个新颖的音频大语言模型框架，旨在增强AI系统中的说话人理解和验证能力。该框架将说话人画像、录音条件分析和基于证据的验证推理整合到自然语言界面中。SpeakerLLM利用分层说话人分词器来捕捉详细的声学和身份线索，旨在通过提供更细致的洞察和结构化的推理痕迹来改进现有的音频大模型和传统的说话人验证系统。