Audio
PulseAugur coverage of Audio — every cluster mentioning Audio across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的PhysEditWorld数据集支持物理可编辑游戏世界模型
研究人员推出了PhysEditWorld，这是一个大规模数据集，旨在实现游戏环境中物理可编辑的世界模型。该数据集专注于在Unreal Engine 5渲染的12个电影场景中的重力变化，捕获了超过100小时的游戏玩法和数百万帧。PhysEditWorld提供了同步的多模态信号，包括视觉数据、音频、动作轨迹和明确的重力标签，促进了对可控世界建模的研究，并提高了生成视频和世界理解模型的物理真实性。
-
火山引擎发布豆包2.1 Pro，AI能力增强 · 跟踪1个来源
字节跳动的火山引擎发布了豆包大模型2.1，其Pro版本在编码、智能体技术和视觉语言模型方面具有增强的功能。该公司还宣布了新的视频、图像和音频模型，以及升级的智能体云服务系统。豆包预计将继续对普通用户免费，而用于生产力任务的专业版本将集成2.1 Pro模型。
-
新指标MultiMem量化多模态对比学习中的记忆现象
研究人员引入了MultiMem，这是一个量化多模态对比学习中记忆现象的新颖指标，该领域此前在这方面尚属未探索的领域。他们的分析表明，模态之间，特别是文本之间的语义不匹配是记忆现象的主要驱动因素。研究还表明，跨所有模态应用有针对性的增强可以有效减少记忆现象并提高模型性能。
-
边缘机器学习开发者争论数据瓶颈：采集 vs. 清洗
一位 r/MachineLearning 上的 Reddit 用户正在试图确定嵌入式/边缘机器学习开发者面临的主要耗时环节，特别是针对时间序列传感器数据。该用户正在开发一个与硬件无关的、AI 原生的时间序列数据平台，旨在缓解常见的开发瓶颈。他们正在征求社区意见，了解数据采集、清洗/标注、模型训练还是部署优化消耗了最多的开发者时间。
-
新的Omni-Fake数据集对社交媒体上的多模态深度伪造检测进行基准测试
研究人员推出了Omni-Fake，这是一个新的基准数据集，旨在改进社交媒体上多模态深度伪造的检测。该数据集包含跨图像、音频、视频和音频-视频说话人脸模态的超过100万个样本，以及一个用于测试泛化能力的分布外基准。Omni-Fake还支持一个用于深度伪造的联合检测、定位和解释的协议，并引入了一个名为Omni-Fake-R1的基于强化学习的检测器，该检测器集成了跨模态线索，以获得更准确和可解释的结果。