PulseAugur
中
实时 14:22:18
实体 Whisper-small

Whisper-small

PulseAugur coverage of Whisper-small — every cluster mentioning Whisper-small across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 14
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 13
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 14 条
  1. TOOL · CL_324551 ·

    AI代理工作流简化了 PyTorch 在 NPU 上的部署

    研究人员开发了 AIPC,这是一个由 AI 驱动的代理工作流,旨在简化 PyTorch 推理项目的部署和优化,特别是在设备上的 NPU。该系统利用来自工具链、运行时和配置文件的结构化技能和证据来管理模型适配、构件构建、执行和性能调优。AIPC 在高通 QAIRT 加速器上针对各种模型类型进行了评估,与对照运行相比,在满足准确性和延迟标准方面显示出显著的改进,在某些情况下甚至无需人工干预。

  2. TOOL · CL_300682 ·

    新框架通过自适应特征增强音频深度伪造检测能力

    研究人员开发了一个新的音频深度伪造检测框架,该框架提高了泛化能力并避免了鲁棒性和准确性之间的权衡。该系统使用自适应音频特征集成模块动态选择最优的潜在维度,并采用梅尔频段对抗扰动策略进行定向正则化。在多个基准测试上进行评估,基于Whisper-small的模型达到了1.51%的行业领先等错误率,在准确性上优于Resemble-Detect-3B-Omni等现有模型,同时使用的参数显著减少。该框架在跨语言评估和对现实世界声学失真的鲁棒性方…

  3. RESEARCH · CL_299548 ·

    苹果研究人员发布基于语音的语码转换检测方法

    研究人员开发了一种新颖的方法,可以直接从语音中检测语码转换(在单次话语中交替使用不同语言的实践)。该技术利用了预训练语音编码器(如 Whisper-small)中的语言选择性维度来识别多种语言的存在。该方法在 CS-FLEURS 数据集上的 14 个语言对上取得了 0.798 的平均 F1 分数,优于其他基线模型。这种方法为识别语码转换语音提供了一个轻量级工具,有助于构建更全面的多语言训练语料库。

  4. TOOL · CL_294515 ·

    研究发现,持续学习正则化可能会阻碍金融ASR的性能

    一篇新的研究论文调查了持续学习正则化技术(特别是弹性权重巩固(EWC)和mini-KFAC)在用于转录金融财报电话会议的自动语音识别(ASR)系统上的有效性。研究发现,将Whisper-small等通用领域ASR模型适配到Earnings22基准上,可以在新的金融语音数据上提高性能,而不是发生灾难性遗忘。这表明在这种特定场景下,任务互补性可能会使正则化适得其反。然而,当需要正则化时,与标准的对角线EWC相比,逐层mini-KFAC近似…

  5. TOOL · CL_273429 ·

    新数据集MGhana-ST面向加纳低资源语言

    研究人员推出了MGhana-ST,一个专为四种低资源加纳语言(Ga、Twi、Ewe和Fante)设计的语音翻译数据集。该数据集包含配对的音频和英语翻译,并标注了口头和非口头事件,旨在推动非洲语言语音技术的研究。使用Whisper-small模型的实验表明,在数据稀缺的情况下,扁平化多语言训练并未使所有语言受益,与单语言训练相比,一些语言的性能有所下降。

  6. TOOL · CL_254602 ·

    剪枝Whisper-small通过充当正则化器来提高ASR准确性

    研究人员已经证明,神经网络剪枝可以作为自动语音识别(ASR)系统的正则化技术,而不仅仅是压缩方法。通过分析Whisper-small模型中不同组件的敏感性,他们发现剪枝特定层,如解码器自注意力或最后一个编码器层,实际上可以提高泛化能力并降低词错误率(WER)。这种方法允许更积极的压缩而不会显著损失准确性,表明剪枝可以成为一个有价值的架构设计工具。

  7. TOOL · CL_244925 ·

    新研究探究音频条件化大语言模型中的声学信息丢失

    研究人员调查了音频条件化语言模型为何常常无法利用韵律和情感等关键声学线索。他们的研究发表在arXiv上,在一个Qwen3.5-4B语言模型管道中测试了包括Whisper-Tiny、Whisper-Small、EnCodec、DAC-VAE和WavTokenizer在内的各种音频编码器。研究结果表明,仅更换编码器并不能完全解决问题,因为在情感识别和声音描述等任务中,Whisper变体仍然是最有效的。进一步的分析表明,虽然区分性的声学信息…

  8. TOOL · CL_221030 ·

    Whisper模型适配用于巴西原住民Baniwa语言语音识别

    研究人员已成功将OpenAI的Whisper模型适配用于巴西、哥伦比亚和委内瑞拉使用的巴西原住民阿拉瓦坎语Baniwa的自动语音识别。研究使用了约0.54小时转录语音的小型语料库,对Whisper Small模型进行了微调。所得模型达到了37.5%的词错误率和7.45%的字符错误率,展示了大型多语言模型在极低资源语言方面的潜力。

  9. RESEARCH · CL_210255 ·

    Whisper语音识别模型适配多语言医疗用途

    研究人员分析了多语言医疗适配如何影响Whisper模型的内部表征。该研究比较了不同Whisper模型尺寸的各种微调策略,发现微调显著提高了MedASR的性能。在特定的诊断场景下,Whisper-Medium实现了最低的英语词错误率(WER),而Whisper-Large-v3实现了最低的德语WER。分析表明,英语医疗微调引起了编码器表征最显著的变化,而多语言延续在很大程度上保持了这些适配。

  10. TOOL · CL_140740 ·

    Apple的SpeechAnalyzer API提升设备端转录速度

    Apple推出了其SpeechAnalyzer API,专为设备端英语语音转录而设计。该新API利用Apple Neural Engine在速度和准确性方面取得了显著改进,据报道比Whisper Small快三倍,词错误率(WER)为2.12%。尽管取得了这些进展,该API目前的局限性包括仅支持英语以及缺乏说话人分离功能。

  11. TOOL · CL_104723 ·

    ASR系统评估用于低资源非洲语言文本语料库

    研究人员评估了自动语音识别(ASR)系统在为低资源非洲语言(特别是芳语和豪萨语)创建文本语料库方面的有效性。通过在芳语数据上微调MMS-300M模型,他们显著降低了词错误率(WER)。对于豪萨语,则使用了现有的微调Whisper-Small模型。虽然ASR流程对豪萨语显示出潜力,但芳语转录的质量表明需要改进模型或进行后处理。

  12. TOOL · CL_74410 ·

    新攻击通过操纵语音特征而非波形来针对ASR

    研究人员开发了一种新的自动语音识别(ASR)系统对抗攻击方法,该方法在特征空间而非直接在音频波形上操作。这种被称为“干净参考特征-声码器攻击”的方法旨在提高对黑盒ASR模型的迁移性,并绕过针对波形扰动的防御。通过操纵自监督学习表示并通过声码器进行重构,该攻击在各种ASR模型上显著提高了词错误率(WER),凸显了当前鲁棒性评估中的一个漏洞。

  13. RESEARCH · CL_76814 ·

    新方法提升语码转换语音识别能力

    研究人员开发了一种新的对比训练方法,以改进语码转换的自动语音识别,语码转换是指在单次话语中交替使用不同语言。该方法识别关键的语码转换点,并使用大型语言模型生成合理的“近失”假设。使用这种技术对Whisper-small模型进行微调,在特定的语码转换数据集上显示出超过2%的错误率降低。

  14. TOOL · CL_44843 ·

    量化研究使更小、更准确的Whisper-small ASR成为可能

    一篇新发布的arXiv研究论文评估了用于Whisper-small自动语音识别模型的各种训练后量化(PTQ)技术。该研究测试了PyTorch、Optimum-Quanto、HQQ和bitsandbytes等库,发现使用Quanto的动态int8量化在压缩和准确性之间取得了最佳平衡。该方法将模型大小减少了57%,同时在LibriSpeech数据集上略微提高了词错误率,使得Whisper-small更容易部署在资源受限的设备上。