PulseAugur
中
实时 20:18:04
English(EN) Alignment-Free Text-Audiobox for Voice Dubbing and Full-Duplex Dialogue Synthesis

新的 Text-Audiobox 框架实现了无需对齐的语音配音和对话合成

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了无需对齐的 Text-Audiobox (Text-AB)，一个用于语音配音和对话合成的新型框架。该系统利用具有流匹配目标的扩散 Transformer，并在使用 DAC-VAE 特征进行高保真音频压缩的潜在扩散框架内运行。一项关键创新是其无需对齐的方法，它通过交叉注意力学习文本-语音对齐，无需显式对齐或持续时间预测。该系统在 480,000 小时的海量语音数据集上进行了预训练，生成了一个拥有 30 亿参数的模型，能够进行高质量的语音配音和全双工对话合成，在自然度和表现力方面优于之前的系统。 AI

影响 这个新框架可以显著提高语音配音和对话合成应用的质量和效率。

排序理由 该集群描述了一篇关于文本到音频合成新框架的详细研究论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 Text-Audiobox 框架实现了无需对齐的语音配音和对话合成

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群描述了一篇关于文本到音频合成新框架的详细研究论文。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
50 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Sanyuan Chen, Min-Jae Hwang, Sho Inoue, Anna Sun, Bokai Yu, David Kant, Dongmin Hyun, Dorian Desblancs, Gregory Antonovsky, Oleg Repin, Peng-Jen Chen, Xutai Ma, Zehai Tu, Juan Pino, Wei-Ning Hsu ·

    用于语音配音和全双工对话合成的无对齐 Text-Audiobox

    arXiv:2609.03992v1 Announce Type: new Abstract: We present Alignment-Free Text-Audiobox (Text-AB), a unified framework for high-quality voice dubbing and full-duplex dialogue synthesis. Building on a Diffusion Transformer trained with a flow-matching objective, Text-AB departs fr…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    用于语音配音和全双工对话合成的无对齐Text-Audiobox

    We present Alignment-Free Text-Audiobox (Text-AB), a unified framework for high-quality voice dubbing and full-duplex dialogue synthesis. Building on a Diffusion Transformer trained with a flow-matching objective, Text-AB departs from the Audiobox system along three dimensions. F…

相关实体

相关话题