Residual Vector Quantization
PulseAugur coverage of Residual Vector Quantization — every cluster mentioning Residual Vector Quantization across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架改进水声信道图像通信
研究人员开发了一种新颖的框架，用于在带宽有限且环境复杂的 水声信道上传输图像。该系统利用跨模态语义连续细化，其中文本描述、压缩特征和视觉辅助信息从发射端发送。接收端利用这些信息逐步重建图像，并采用基于CLIP的语义一致性约束来确保生成的图像与原始文本对齐。使用COCO 2017图像和水下信道数据进行的实验证明了该方法的有效性，特别是在低信噪比下提高了重建质量并为资源分配提供了指导。
-
新方法增强了用于分层数据的双曲残差量化
研究人员开发了一种新颖的几何感知双曲残差量化方法，旨在改进分层数据的表示。该方法通过引入用于稳定前向传播残差聚合的双曲残差聚合（Hyperbolic Residual Aggregation）和用于稳定反向传播梯度路由的折扣双曲直通估计器（discounted Hyperbolic Straight-Through Estimator），解决了先前双曲扩展中的不一致性问题。在推荐和音频编码等各种任务上的评估表明，与现有方法相比，双曲残…
-
StepAudio 3 模型在实时对话、通用音频和音乐生成方面取得进展
研究人员推出了 StepAudio 3 模型系列，涵盖实时交互、通用音频生成和音乐创作。StepAudio 3 Realtime 专注于具有“倾听-交谈-思考-行动”循环的连续语音对话，在 Artificial Analysis Full-Duplex Bench 等基准测试中取得了高性能。StepAudio 3 Gen 是一个统一的离散自回归模型，可用于文本到语音和音效等各种音频任务，并利用了残差向量量化令牌。StepAudio 3…
-
新的SeRV方法增强了文本到美国手语的生成
研究人员开发了SeRV，一种新颖的语义对齐残差向量量化方法，用于从文本生成美国手语（ASL）。该方法通过整合来自配对文本的显式语义监督，解决了现有方法的局限性，从而实现了更精确和语义一致的ASL运动生成。SeRV利用分层GPT以粗到精的方式预测残差运动令牌，在How2Sign和YouTube-ASL等基准数据集上达到了最先进的姿态精度。
-
新的几何检索方法增强了神经音频编解码器再合成
研究人员引入了一种称为几何迭代检索的新方法，用于改进神经音频编解码器再合成。该方法利用残差向量量化 (RVQ) 码本的层次结构，在连续码本空间中执行迭代检索，超越了传统的离散标记预测或连续回归。该方法在语音和音乐恢复任务上进行了评估，证明比现有基线有所改进。
-
新的非对称分层锚定框架提高了跨模态泛化能力
研究人员开发了一个名为非对称分层锚定（AHA）的新框架，以改进机器学习中不同模态之间的知识迁移。该方法通过结构化语义层级强制执行信息定向分配，解决了现有对称方法的局限性。AHA 利用残差向量量化来指导视频特征蒸馏，并采用对抗解耦器来防止模态间的语义泄露，同时结合局部滑动对齐进行细粒度的时间同步。在 AVE 和 AVVP 基准上的实验表明，AHA 在跨模态迁移方面优于对称基线，进一步分析表明其学习到的表示在语义一致性和解耦方面有所改进。
-
Apple 发布用于 Siri 的内存高效设备端音频合成
Apple 在一篇研究论文中详细介绍了一种新的内存高效的设备端音频合成架构。该系统为 Siri Expressive Voices 提供支持，使用扩散 Transformer (DiT) 风格的解码器，以最少的计算资源将语义音频令牌转换为高保真语音。该架构实现了实时合成速度，仅需约 21MB 运行时内存，并与之前的设备端系统相比显著提高了音频质量指标。