OmniVoice
PulseAugur coverage of OmniVoice — every cluster mentioning OmniVoice across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
开源AI配音工具可本地保留演员声音
一位开发者创建了一个名为 Dub Anything 的开源工具，该工具使用AI为视频配音，同时保留了原始演员的声音。该工具利用 OmniVoice 和 Whisper 等模型，在具有至少 6GB VRAM 的 NVIDIA GPU 的系统上本地运行。该项目旨在通过允许用户创建保留原始表演者独特声音特质的英语配音，来提高外语内容的可用性。
-
OmniVoice模型因其微调和低VRAM要求而受到赞扬
OmniVoice模型因其出色的微调能力而受到赞扬，使用户能够以增强的发音和减少的错误来复制自己的声音。该模型支持多种语言并提供0-shot语音克隆，但其微调性能尤为突出。此外，OmniVoice的VRAM要求低，使其能够被硬件配置较低的用户使用。
-
新方法通过减少口音泄露来改进跨语言语音克隆
研究人员开发了口音类比指导（AAG），这是一种新颖的无需训练的方法，通过减少口音泄露来改进跨语言语音克隆。AAG通过从模型预测中减去估计的口音方向来工作，从而在保留所需口音的同时消除语音中的口音。在包括OmniVoice和MaskGCT在内的四个开放式TTS模型上进行的实验表明，与现有的重加权技术相比，AAG在同等口音水平下显著提高了说话人相似度。
-
泰语TTS对比：ThonburianTTS、OmniVoice和ElevenLabs评测
本文对比了三款泰语文本转语音（TTS）系统：ThonburianTTS、OmniVoice和ElevenLabs。对比的重点在于哪个系统产生的泰语语音听起来最像真人。作者Nokka分析了它们的性能。
-
新框架诊断复杂多语言文本语音合成的失效问题
研究人员开发了一个新框架，用于评估低资源多语言文本到语音（TTS）系统在处理复杂文本输入时的鲁棒性。该框架评估了泰语、越南语、斯瓦希里语和印度尼西亚语等语言在内容一致性、语言一致性和生成稳定性方面的表现。该研究引入了自动诊断指标和文本风险评分（TRS），无需手动标注或模型训练即可预测合成风险。在OmniVoice、VoxCPM2和MMS-TTS上的实验揭示了在处理数字、日期、命名实体和代码转换表达时存在不同的失效模式，凸显了当前评估方法的局限性。
-
VoiceStudio 的 OmniVoice 权重带有非商业限制
VoiceStudio 组件 OmniVoice 的默认权重仅限于非商业用途，即使在本地运行也是如此。打算将 VoiceStudio 用于付费工作的用户应核实具体模型许可，因为商业应用可能需要选择替代模型权重。
-
新的泰语TTS模型在低资源环境下使用合成语音进行训练
研究人员开发了一种新颖的方法，用于为泰语等低资源语言创建紧凑型、固定语音的文本到语音（TTS）模型。该方法利用一个大型语音克隆模型作为数据生成器，使用完全合成的语音来训练一个更小的、可在设备上运行的模型，该语音是从简短的语音参考派生而来的。由此产生的Wayu-Paxa-TTS-Edge模型在准确性和韵律方面表现出色，甚至在某些方面优于其更大的教师模型，并且正在开源。
-
使用合成数据训练的新泰语TTS模型用于设备端
研究人员开发了一种新颖的方法来创建紧凑的泰语文本到语音（TTS）模型，特别适用于设备端应用。该方法涉及使用基于非常短的语音参考的大型“教师”语音克隆模型生成的合成数据来训练一个较小的“学生”模型。该系统解决了泰语特有的挑战，例如模糊的词边界和词汇声调，并与大型模型相比，在准确性和韵律方面取得了有竞争力的成果。
-
发布用于电信客户服务的合成孟加拉语语音数据集
研究人员开发了一个专为电信客户服务应用定制的合成孟加拉语语音数据集。该数据集包含 10,000 对音频-文本，总计约 26.82 小时的语音，并根据 CC-BY-4.0 许可在 Hugging Face 上公开提供。合成语音使用 OmniVoice 生成，重点关注语音克隆和自动语音识别 (ASR) 训练的标准化。使用经过微调的 Whisper ASR 模型进行的评估表明，文本-音频一致性很强，词错误率 (WER) 和字符错误率 (CER) 较低。
-
OmniVoice 微调以实现约鲁巴语零样本语音克隆
一位开发者对 OmniVoice 文本到语音模型进行了约鲁巴语的微调，约鲁巴语是一种声调语言，精确的发音对意义至关重要。该过程包括通过合并高质量的录音室录音和多样化的众包语音来构建数据集，总计约 156 位发言者的 9.6 小时数据。一个关键发现是，约鲁巴语中的变音符号不仅仅是格式，它们携带了重要的声调信息，并且保留它们对于准确和清晰的语音合成至关重要。
-
新的卢森堡语SQA系统使用TTS，发布新的表达式语音语料库
研究人员开发了LuxSQA，一个用于卢森堡语（一种资源匮乏的语言）的口语问答系统。该系统利用文本到语音（TTS）技术生成合成口语问题，扩充了现有的基于文本的QA资源。通过使用多种TTS系统训练参数高效的架构，LuxSQA在卢森堡语测试集上取得了优异的性能，证明了合成数据在资源匮乏的SQA中的有效性。另外，一个名为LuxEmo的新的卢森堡语表达式语音语料库已从广播节目中创建，包含21小时的数据，涵盖四种情绪类别，并使用五种TTS系统进行了基准测试。
-
AI语音生成器Omnivoice朗读古德语诗歌
一位Mastodon用户分享了AI生成的古德语诗歌《Muspilli》的音频朗读，并指出其声音非常像真人。该音频是使用Linux上的免费Omnivoice工具创建的，该工具还展示了翻译和朗读不再常用的古高地德语的能力。
-
audio.cpp 框架提供更快的音频模型推理速度
一个名为 audio.cpp 的新 C++ 推理框架已被开发出来，它构建在 ggml 之上，用于运行包括 TTS、ASR 和语音转换在内的各种音频模型。该框架旨在将多个音频模型整合到单个运行时中，从而无需为每个模型单独配置 Python 环境。初步基准测试显示速度有显著提升，部分 TTS 模型在热启动场景（模型被重复使用）下的运行速度比其 Python 版本快 5 倍。
-
TTS Audio Suite v5.3 增加 OmniVoice 以实现精确字幕计时
TTS Audio Suite 已更新至 5.3 版本，引入了 OmniVoice，这是一款具有先进原生时长控制功能的文本转语音模型，用于字幕计时。此功能可实现生成音频与 SRT 字幕之间更精确的同步，减少后期调整的需求。此外，还增加了一个新的可视化标签构建器，最初用于帮助 OmniVoice 的指令字段，但已发展成为一个更通用的工具，用于可视化标签和属性的组织，可能有助于图像生成平台的提示。
-
免费AI工具高保真克隆声音
一款名为OmniVoice的新型免费AI工具现在可以克隆声音，包括之前由MIT降低质量模仿的巴拉克·奥巴马的声音。这项进步使得高保真声音克隆不再失真，并向公众开放。
-
OmniVoice 高精度克隆 GLaDOS 声音
文本转语音系统 OmniVoice 通过精确复制《传送门》系列电子游戏中的 AI 反派 GLaDOS 的声音，展示了其令人印象深刻的声音克隆能力。这一成就凸显了该系统在创建逼真合成语音方面的潜力。
-
OmniVoice 成为顶级本地文本转语音引擎
OmniVoice 是一个新推出的开源文本转语音系统，专为在 Linux 系统上本地运行而设计。该项目旨在提供高质量的语音合成，而无需依赖基于云的服务。其 GitHub 存储库提供了代码，供用户直接在自己的硬件上设置和运行 TTS 模型。
-
新的泰语语音克隆模型超越人类真实数据和商业旗舰模型
研究人员开发了 JaiTTS-v1.0，一个泰语语音克隆文本到语音模型，取得了最先进的成果，在短时语音生成方面，其词错误率（CER）为1.94%，超越了人类真实数据。该模型改编自VoxCPM，可以直接处理数字和泰英混合语，无需显式文本规范化。在人类评估中，JaiTTS-v1.0在绝大多数配对比较中优于商业旗舰模型。另外，另一项研究专注于科学语音的跨语言语音克隆，评估了基于OmniVoice的模型，并使用数据增强来提高可懂度，同时保持阿…