VQ-VAE
PulseAugur coverage of VQ-VAE — every cluster mentioning VQ-VAE across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
AI框架利用机会性频谱接入大幅降低图像传输延迟
研究人员开发了一种新颖的传输框架，该框架利用机会性频谱接入实现低延迟、面向任务的图像通信。该系统采用VQ-VAE压缩图像的潜在表示，然后通过空闲的许可频道传输。AI驱动的接收器可以从这些压缩数据中重建关键的任务相关信息，与传统的源编码和信道编码方法相比，显著降低了延迟，同时保持了高分类精度。
-
合成运动数据扩展了生成式建模能力
研究人员开发了一个框架，通过利用大规模合成运动数据来增强人体运动生成。该方法解决了现有动作捕捉数据集的局限性，这些数据集通常缺乏多样性，并且无法代表复杂或罕见的动作。通过集成一种新颖的数据生成管道和重新设计的VQ-VAE分词器，该系统扩展了运动表示空间，能够更好地捕捉运动原语，并在文本到运动生成等任务中提高性能。研究结果表明，运动表示的表达能力，而不仅仅是模型架构，是推进人体运动合成的关键。
-
新的LAMP框架改进了自动驾驶轨迹预测
研究人员开发了LAMP（Lane-Aligned Motion Primitives），一个用于自动驾驶轨迹预测的新框架。该系统通过确保预测路径符合车道拓扑结构，即使对于不太可能的结果，也解决了当前预测器的关键限制。LAMP利用VQ-VAE学习离散运动原语，并使用一个考虑可行性的选择器来过滤掉无法实现的意图，从而增强了预测的可靠性和多样性。
-
新基准测试评估科学基础模型的tokenizer
一篇新论文介绍了“星系的tokenizer指南”，评估了用于Transformer基础模型的 Astronomical 图像的四种分词方法。研究发现，虽然 JetFormer 等方法在重建方面表现出色，VQ-VAE 在预测物理特性方面表现良好，但没有一种方法能在所有指标上普遍优于其他方法。这项研究强调了重建质量与下游任务性能的分离，并表明需要更先进的探测技术来充分利用科学基础模型。
-
新的对话系统将实时面部生成与语音相结合
研究人员开发了Moshi-Face，一个新颖的全双工语音对话系统，它将面部生成与音频处理相结合。该系统利用VQ-VAE将面部数据编码为离散令牌，并使用Face Transformer非自回归地生成这些令牌。其结果是一个能够实时生成同步语音和面部表情的模型，在实现低延迟视听对齐的同时保持对话质量。
-
新的VQ-VAE方法可在低功耗设备上实现可持续的人脸识别
研究人员开发了一种新的、能效高的人脸识别系统，专为低功耗设备设计。该框架利用矢量量化变分自编码器（VQ-VAE）来创建紧凑、有意义的面部图像表示。通过使用VQ-VAE进行压缩，并结合预训练嵌入的知识蒸馏方法，该系统在实现与当前最先进方法相当的准确性的同时，大大降低了内存和计算需求。
-
VQ-VAE和SSF改进地震灾害预测
研究人员开发了一种新的时空地震灾害评估方法，将地震统计特征（SSF）与VQ-VAE模型相结合。该方法将预测细化到局部区域，重点关注候选事件周围24公里半径的区域。研究表明，捕捉地震图空间信息的VQ-VAE衍生特征显著提高了预测性能，并且在很大程度上可以取代传统的b值计算等方法。
-
语言模型学会从语音生成面部反应
研究人员开发了一个框架，可以根据说话者的言语，为社交互动中的听者生成适当的面部反应。该方法将量化的面部姿态元素作为基于Transformer的大型语言模型的附加语言标记。使用预训练语言模型权重初始化Transformer比从头开始训练产生了更高质量的响应，展示了流畅且语义相关的生成运动。
-
新框架通过潜在空间变异增强深度神经网络测试
研究人员开发了Latte，一个用于深度神经网络的新的黑盒测试框架，旨在改进模型弱点的识别。Latte通过在网络的潜在空间中变异输入来运行，生成与原始输入语义相似但又多样化且能够暴露错误的测试用例。在多个数据集和模型上的评估表明，Latte与现有方法相比，增强了故障暴露和行为多样性，同时保持了与源种子的低语义漂移。
-
新研究推进AI模型的向量量化技术
几篇最新的研究论文探讨了AI模型向量量化技术的进展。ArcVQ-VAE引入了球形角度裕度先验，以提高图像建模中的潜在表示多样性和码本利用率。高斯VAE被用于一种无需训练的方法（Gaussian Quant）中，将其转换为VQ-VAE，性能优于现有方法。DiVeQ提供了一种使用重参数化技巧进行向量量化端到端训练的可微分方法，提高了压缩和生成任务的性能。MGVQ通过集成多维敏感度感知和梯度-Hessian融合来实现超低比特量化，专注于压缩…
-
新的VQ-VAE框架增强图像表示学习
研究人员推出了一种新颖的离散图像表示学习框架ArcVQ-VAE。该新方法通过引入球形角度边际先验来增强传统的VQ-VAE模型，该先验鼓励潜在向量之间更大的可分离性。该框架旨在提高码本利用率并捕获更丰富、更多样化的表示，在图像重建和生成任务中表现出有竞争力的性能。
-
VQ-SAD 模型采用神经符号方法改进分子生成
研究人员开发了 VQ-SAD，一种使用扩散技术进行分子生成的新型神经符号模型。该方法通过将原子和键视为 VQ-VAE 框架内的潜在变量来整合关于原子和键的符号信息。通过利用大型离散代码空间，VQ-SAD 增强了去噪过程，并在 QM9 和 ZINC250k 数据集上的性能优于最先进的方法。
-
Uni-HOI框架统一文本、人类和物体运动，实现4D交互建模
研究人员开发了Uni-HOI，一个旨在模拟人类、物体和文本之间复杂交互的统一框架。该系统集成了大型语言模型和专门的VQ-VAE，将各种运动数据处理成与LLM兼容的格式。Uni-HOI采用两阶段训练过程，首先学习跨模态的相关性，然后针对特定任务进行微调，在文本驱动的HOI生成和运动预测等领域表现出色。