audio.cpp
PulseAugur coverage of audio.cpp — every cluster mentioning audio.cpp across labs, papers, and developer communities, ranked by signal.
- 2026-08-01 product_launch audio.cpp released version 0.5 with new TTS and voice transfer models, alongside platform enhancements. 来源
- 2026-07-01 product_launch The author of audio.cpp has added support for VibeVoice 1.5B, enabling faster local text-to-speech generation. 来源
- 2026-07-01 product_launch The audio.cpp project released new audio models and features, including music generation, SFX generation, source separation, and long-form TTS. 来源
2 天有情绪数据
-
Kokoro TTS通过OpenVoice ToneColorConverter集成语音克隆功能
一项新的集成使得Kokoro文本转语音（TTS）模型能够以最少的额外显存克隆声音。通过将Kokoro与OpenVoice ToneColorConverter配对，用户无需重新训练TTS模型即可实现语音克隆功能。此设置需要大约600MB的额外显存，并在CUDA上导致轻微的减速，但仍保持快速的处理速度。
-
Drama3 模型集成到 audio.cpp 中，提高速度并降低 VRAM 需求
audio.cpp 项目已集成对 Drama3 模型 的支持，显著提高了其性能。此次集成使得在全设置下运行速度可达实时速度的五倍，或在 RTX 5090 上使用不到 8 GB VRAM 时达到实时速度的两倍。虽然优化主要集中在 CUDA，但该模型也可在 Vulkan 和 Metal 上运行，并且正在持续努力提高效率和正确性。
-
用户在旧PC上使用本地TTS工具尝试语音克隆
一位用户在一台旧PC上尝试了语音克隆，目的是为了获得一个本地的文本转语音（TTS）工具来配合Whisper。他们编译了支持Vulkan的audio.cpp，并测试了Audio8 TTS Preview 0.6B Q8_0模型。这个过程包括使用参考语音样本，其中有一个是《星际迷航：航海家号》中的Captain Janeway，并用Audacity对其进行降噪。该设置运行在Linux上，硬件配置不高，尽管用户注意到在数字发音和长文本中的重…
-
audio.cpp 提升 Higgs Audio TTS、HTDemucs 和 PocketTTS 的性能
audio.cpp 项目发布了对各种音频模型的显著性能增强。Higgs Audio TTS 现在需要减少 48% 的显存占用，运行在 6GB 以下，而 HTDemucs 在 GPU 上速度提升 2.2 倍，PocketTTS 在 CPU 上速度提升 2.2 倍。这些运行时优化旨在使现有音频模型在不影响质量的情况下更适合本地使用。该项目还为其 WebUI 引入了一个实验性的生成历史记录功能，并继续扩展对各种音频模型的支持。
-
Reddit 用户比较 AI 音频工具：audio.cpp 对比 VoiceStudio
Reddit 上的一篇讨论比较了两个 AI 音频工具：audio.cpp 和 VoiceStudio。audio.cpp 因其广泛的模型支持（超过 100 个模型）和速度而受到关注，并提供本地、Web 和 Docker 部署选项。VoiceStudio 虽然较新且引起热议，但支持的模型较少（27 个），其中一些基于 audio.cpp。此外，还提到了 unslothai/unsloth 这个多功能前端工具，它最近增加了对 audio.…
-
Yue2 模型现在只需要 8-9 GB 的显存
audio.cpp 项目发布了 Yue2，这是一款新模型，所需的显存大大减少，使得拥有 8-9 GB 显存的用户也能使用。该开发在 DEV 分支和 Hugging Face 上可用，提供 Q4 和 Q8 量化权重。基准测试显示，Q4_0 main + F16 VAE 配置大约使用 7755 MiB 的显存，从而能够更广泛地使用该模型。
-
audio.cpp 0.7新增Arena UI，支持62+个音频模型
audio.cpp项目发布了0.7版本，将其对音频模型支持显著扩展到62个家族和85个以上变体。此次更新引入了Arena UI，允许用户同时比较多个本地模型的输出。该版本还包括用于文本转语音、自动语音识别、语音转换和音乐生成的新模型，重点关注在NVIDIA Jetson Orin等边缘硬件上的性能。
-
MiniMax Music 3 模型利用 Qwen3-8B LLM 生成完整歌曲
MiniMax Music 3，一个能够生成长达五分钟完整歌曲的新的开源模型已发布。该模型采用混合方法，结合了从 Qwen3-8B 初始化、用于长程结构的 8B 全局 LLM 和用于细粒度声学细节的 0.6B 局部 LLM。它可以根据歌词和详细的音乐描述进行条件生成，产生 32 kHz、16 位立体声 WAV 音频。该模型可通过 SGLang-Omni 和 diffusers 在本地使用，并通过 Hugging Face 和 audi…
-
audio.cpp 0.5 增加了 DramaBox TTS、Confucius4 语音转换和 AMD GPU 支持
audio.cpp 项目已发布 0.5 版本，对其文本转语音 (TTS) 和语音转换功能进行了重大更新。一个主要亮点是 DramaBox，一个专为提示词驱动的配音设计的新模型，可控制情感和表达。该版本还推出了 Confucius4-TTS 用于跨语言语音转换，并集成了其他几个模型和 ASR 系统。平台支持的增强功能包括对 AMD GPU 的早期 HIP/ROCm 兼容性以及对 Apple Silicon 的性能改进，同时还改进了直播和摄入功能。
-
audio.cpp 0.4 增加 TTS/ASR 模型，支持完整 GGUF
audio.cpp 项目已发布 0.4 版本，引入了对多种新的高质量文本转语音 (TTS) 和自动语音识别 (ASR) 模型支持，包括 Higgs Audio v3 TTS 4B 和 Fish Audio S2 Pro。此版本还全面集成了 GGUF 格式支持所有模型家族，提供了显著的速度和 VRAM 提升，尤其是在 Q8 量化方面。该项目现支持 35 个模型家族，并新增了社区模型区域以支持更成熟的移植。
-
audio.cpp 通过 C++/GGML 添加音乐、SFX 和长篇 TTS 模型
audio.cpp 项目发布了重大更新，引入了对 ACE-Step、Stable Audio、HeartMuLa、RoFormer 和 HTDemucs 等新音频模型的原生 C++/GGML 支持。此次扩展支持音乐和 SFX 生成以及声源分离，其中一些模型现在能够生成长达10分钟的音频。此外，还集成了 VibeVoice 1.5B，在长篇 TTS 方面表现出色，在 RTX 5090 上不到23分钟即可生成90分钟的音频，显著优于基于 …
-
audio.cpp 框架提供更快的音频模型推理速度
一个名为 audio.cpp 的新 C++ 推理框架已被开发出来，它构建在 ggml 之上，用于运行包括 TTS、ASR 和语音转换在内的各种音频模型。该框架旨在将多个音频模型整合到单个运行时中，从而无需为每个模型单独配置 Python 环境。初步基准测试显示速度有显著提升，部分 TTS 模型在热启动场景（模型被重复使用）下的运行速度比其 Python 版本快 5 倍。