Clotho
PulseAugur coverage of Clotho — every cluster mentioning Clotho across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架“Foreword”利用雅可比透镜预测LLM测试失败
研究人员开发了一个名为Foreword的新框架，以更有效地预测和表征大型语言模型（LLM）的测试失败。该框架利用“雅可比透镜”（J-lens）根据模型的内部状态来表示输入，并从成功的和失败的测试用例中学习。Foreword与逻辑回归或高斯混合模型等估计器配对时，在预测失败和优先排序各种任务和开源LLM的测试用例方面，其性能显著优于Clotho等现有方法。该方法还提供了对失败原因的语义洞察，例如任务规范中的歧义。
-
新的无编码器音频字幕模型CARD降低了推理成本
研究人员开发了CARD，一种新颖的无编码器音频字幕模型，通过移除音频编码器显著降低了推理成本。该模型通过将预训练音频教师CLAP-HTSAT的表示策略性地路由到不同组件来蒸馏其知识：将感知阶段路由到投影仪，将语义阶段路由到LLM。这种方法在AudioCaps和Clotho等基准数据集上提高了性能，在推理时无需编码器即可达到55.4分。
-
SwiftAudio 使用仅字幕蒸馏实现高效文本到音频生成
研究人员开发了 SwiftAudio，一种新颖的一步式文本到音频扩散模型，在蒸馏过程中无需配对音频数据。该方法仅使用文本字幕和预训练的扩散教师模型，将数据需求显著降低到约 45,000 个字幕。SwiftAudio 在一步式方法中取得了最先进的结果，并缩小了与更复杂的步进式扩散系统的性能差距。
-
新方法压缩语言模型的音频令牌
研究人员开发了一种名为局部时序双向合并（LTBM）的新方法，用于压缩音频语言模型中的音频令牌。这种无需训练的方法在时序窗口内合并相似的附近音频令牌，旨在降低推理成本和内存使用量。实验表明，这种局部感知合并对于音频字幕任务特别有益，尤其是在更高的压缩率下，而全局匹配在音频理解任务中表现更好。