speech synthesis
PulseAugur coverage of speech synthesis — every cluster mentioning speech synthesis across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
AI发展在智能体技能、语音识别和数据噪声方面面临挑战
该集群讨论了AI发展中的挑战和细微之处。其中一项指出，AI智能体可能比额外的提示更能从技能中受益，这表明需要更好的训练或架构。另一项指出，文本转语音系统中的词错误率可能具有误导性，一项研究表明，相当一部分错误是由于识别器而不是音频质量造成的。最后，第三项探讨了AI模型如何从训练数据中的噪声中学习并可能隐藏噪声，正如一个打乱标签的数据集所展示的那样，该数据集仍然显示出显著的损失降低。
-
AI文本转语音工具难以生成动物声音
Reddit的r/LocalLLaMA论坛上一位用户正在寻找方法，从动物声音录音（特别是他们家鸡的叫声）生成文本转语音（TTS）声音。目前的语音匹配应用程序是为人类声音设计的，因此不适用于这种独特的应用。用户希望找到一种能够捕捉动物独特发声模式并用于TTS系统的解决方案。
-
AssemblyAI 指导使用 STT-LLM-TTS 架构构建实时语音代理
AssemblyAI 正在详细介绍如何使用连接语音识别 (STT)、大型语言模型 (LLM) 和文本转语音 (TTS) 组件的链式架构来构建实时语音代理。该公司强调低延迟流式管道的重要性，并就集成其 Universal 3.5 Pro Realtime STT 模型提供了具体指导。文章还探讨了 Vapi、Pipecat 和 LiveKit 等不同的编排平台，并讨论了从 Retell 和 Super 等公司吸取的关于生产级语音代理需求的…
-
新框架解决了语音合成中表达性标签稀缺的问题
研究人员开发了一个迭代自学习（ISL）框架，以解决表达性文本到语音（TTS）系统标签数据稀缺的问题。这种新方法基于Invert-Classify，使用当前模型迭代地对未标记语音进行伪标签化，然后对组合数据进行再训练。该框架逐步提高标签质量和合成效果，在低资源场景下尤其显示出伪标签准确性和表达性遵循方面的改进。
-
LangChain 通过流式架构实现实时语音助手开发
构建一个可投入生产的语音助手不仅仅是将语音识别连接到大型语言模型，然后再连接到语音合成。一个实用的架构将音频传输、语音识别、助手推理、工具执行和语音合成等职责分开，允许每个组件独立替换。流式处理对于自然的对话感觉至关重要，其中语音转文本和助手响应生成等阶段在数据可用时立即开始，而不是等待整个句子或响应。
-
新的拒绝服务攻击通过声学扰动目标端到端语音大语言模型
研究人员开发了一种专门针对端到端（E2E）语音大语言模型（LLM）的新型拒绝服务（DoS）攻击。与以往依赖文本提示操纵的攻击不同，该方法向语音输入引入了不易察觉的声学扰动。这些扰动经过优化，旨在破坏模型的自回归生成过程，导致输出延长并增加计算资源消耗，同时不会显著改变原始语音的语义内容。
-
本地 AI 更新：llama.cpp、PyTorch、Kimi-K3 和 NVIDIA NeMo Speech 3.0
本地 AI 和开源模型领域的最新更新包括 llama.cpp 通过 CUDA Fusion 实现的性能增强，解决了 PyTorch 中针对 AMD GPU 的关键量化错误，以及备受关注的 Moonshot AI Kimi-K3 模型，该模型利用压缩张量实现高效推理。此外，NVIDIA 发布了 NeMo Speech 3.0，专注于核心语音 AI 任务，LiquidAI 的 LFM2.5-2.6B 模型在本地代理部署方面也日益受到欢迎。
-
面向旅行行业宾客和客户的 AI 培训工具已发布
旅行行业正在探索新的 AI 驱动的培训技术，重点是加强宾客和客户互动。hospit-AI-lity 和 WALT 这两个平台被重点介绍为旅行工作者和代理商的下一代工具。鼓励用户通过在线评估门户网站试用 WALT2.0 和其他文本转语音 (TTS) 平台，以提供反馈。
-
AI旅行行业培训工具在Mastodon上发布
两条Mastodon帖子重点介绍了面向旅游业的新型AI驱动培训技术。其中一个帖子介绍了“hospit-AI-lity”和“WALT”作为面向旅游工作者和代理商的下一代培训工具，并邀请对WALT 2.0的反馈。另一个帖子推广了一个评估门户网站，该网站提供当前的文本转语音（TTS）平台，以及AI驱动的旅行培训和保险技术。
-
audio37 发布 TTS 和语音克隆功能，寻求功能建议
audio37 工具已发布，提供文本转语音 (TTS) 功能以及语音克隆。开发者正在征求社区对未来潜在功能的意见，例如语音识别 (STT) 转录或多播客模式。
-
开发者为本地TTS模型构建轻量级桌面GUI
一位开发者使用Tkinter创建了一个轻量级的桌面GUI，用于管理多个本地文本转语音（TTS）引擎，包括Kokoro和Chatterbox。该工具允许用户分割输入文本，使用Chatterbox引擎从参考音频克隆语音，从Hugging Face下载模型，并将输出保存为WAV文件。开发者指出，代码大部分由DeepSeek v4生成，项目开发成本非常低廉。
-
人工智能驱动的冥想应用利用大型语言模型和生物识别技术生成动态音频
一款名为WhatsFeel 的新型冥想和睡眠应用利用人工智能实时生成动态音频内容，超越了静态录音。该应用将大型语言模型文本生成与实时文本转语音（TTS）语音合成相结合，根据用户互动和心率等生物识别信号调整指导。为了管理服务器带宽和延迟，WhatsFeel 采用了分层缓存策略和面向非生物识别用户的分组滑动窗口缓存，确保内容新鲜的同时降低成本。
-
r/LocalLLaMA 用户寻求 ASR 和 TTS 模型推荐
r/LocalLLaMA 上的这篇 Reddit 帖子在征求自动语音识别 (ASR) 和文本转语音 (TTS) 模型推荐。原帖作者目前正在使用 Whisper 和 Kokoro 等旧模型配合 koboldcpp，并正在寻找更新、可能更好的替代品。他们提到了 Qwen3-ASR 和 Qwen3-TTS，但尚未测试过，并希望从社区那里获得关于他们当前 ASR 和 TTS 模型使用情况的意见。
-
AssemblyAI 详解生产级语音代理的最佳实践
AssemblyAI 发布了一系列博文，详细介绍了构建生产级语音代理的最佳实践。文章强调了强大的遥测和诊断管道的重要性，以便在用户发现问题之前捕获回归，并提倡使用现有日志和 AssemblyAI 的工具来实现自助服务。关键技术讨论涵盖了通过同步 HTTP 请求优化语音到文本转录的延迟，特别是当开发人员自行管理轮次检测时，并强调“首次响应时间”是感知代理响应能力的关键指标。
-
Hugging Face推出真实世界VoiceEQ基准，用于评估媲美人类的语音AI
Hugging Face推出了Real World VoiceEQ，这是一个旨在评估语音AI交互媲美人类质量的新基准。与关注词错误率和延迟等指标的传统基准不同，VoiceEQ评估语音系统识别、生成和响应细微声学信息（如语气、情感和说话人身份）的能力。该基准基于超过一百万次的人工评分，并评估了包括自动语音识别（ASR）、文本转语音（TTS）和语音到语音（S2S）在内的各种能力下的40多个领先语音模型。研究结果表明，没有一个模型在所有维度…
-
旅游科技公司 TTS 发布 WALT 2.0 及 AI 工具供公众反馈
旅游科技解决方案 (TTS) 公司已推出两款人工智能驱动的工具供公众评估。WALT 2.0，一个面向酒店业的 AI 训练引擎，现已上线并寻求用户反馈。此外，TTS 还提供了对其更广泛的 AI 技术套件的访问权限，其中包括用于 AI 训练、数据驱动的气候工具和移动旅行应用程序的应用程序。
-
新基准突出 AI 语音合成对欺骗检测器的挑战 · 跟踪 3 个来源
研究人员开发了新的基准来解决语音欺骗检测系统中的泛化差距问题，这些系统难以跟上先进的 LLM 驱动的文本到语音和语音转换技术。VoxENES 2026 基准包含 10 种当代语音合成方法生成的超过 53,000 个英语和西班牙语音频样本，揭示了现有检测器性能的显著下降。同样，PC-Mix 数据集解决了在混合语音和环境声音中检测欺骗音频组件的挑战，而这些条件在先前的研究中常常被忽视。
-
语音合成评估受自动语音识别家族对齐干扰，提出新的集成方法
研究人员发现，在使用自动语音识别（ASR）验证器评估文本到语音（TTS）系统时存在一个重大的混淆因素。这些验证器的表面质量很大程度上受用于判断的ASR家族影响，导致排名颠倒和性能指标虚高。为解决此问题，该论文提出跨家族排名集成方法，该方法可实现更低的词错误率，并在其他指标上保持性能，建议进行跨评估器三角测量以获得稳健的报告。
-
Qwen-ASR-1.7B适配多语种双人语音识别 · 跟踪2个来源
研究人员为MLC-SLM 2026挑战赛开发了一个系统，该系统将Qwen3-ASR-1.7B模型适配于多语种、双人对话语音。该系统将说话人日志前端与适配后的ASR模型集成，处理语音活动、说话人嵌入和音频分割。适配技术包括监督微调、使用合成语音的LoRA微调以及GRPO强化学习，这些技术共同将开发集上的词错误率降低了6.83个百分点，并在评估集上达到了17.97 tcpMER。
-
WordVoice框架为基于LLM的TTS提供显式、多维度的单词级控制
研究人员推出WordVoice，一个旨在增强对基于大型语言模型（LLM）的文本到语音（TTS）系统控制的新型框架。该系统通过实现显式的、多维度的单词级声学操控，解决了当前隐式生成方法的局限性。为此，创建了一个名为WordVoice-5A的实质性双语数据集，其中包含五维的单词级标注。WordVoice框架包含一个用于声学规划的绑定令牌机制和一个用于弥合离散令牌与连续波形之间差距的细粒度调制模块，在保持合成稳定性的同时提供了卓越的控制。