Vad
PulseAugur coverage of Vad — every cluster mentioning Vad across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
BEVLM框架增强大语言模型在自动驾驶中的推理能力
研究人员开发了BEVLM，一个将大语言模型（LLMs）与鸟瞰图（BEV）表示相结合的新框架，用于自动驾驶。该方法旨在克服当前独立处理视觉数据的局限性，从而提高空间一致性和语义丰富性。BEVLM利用BEV特征作为大语言模型的统一输入，增强其在复杂驾驶场景中的推理能力，并提高端到端驾驶性能，尤其是在安全关键型情况下。
-
新的REDDIT框架可在不遗忘模型的情况下纠正ASR时间戳漂移
研究人员开发了REDDIT，一个新颖的训练后框架，旨在纠正自动语音识别（ASR）系统中的时间戳漂移，而不会导致灾难性遗忘。该方法使用基于重放的分布编辑技术，通过重放模型自身的解码器上下文来精炼时间戳，同时保留非时间戳标记的分布。该框架在Whisper-tiny上将长间隔mIoU从38.7%提高到95.0%，参数更新极少，同时显著减少了域外时间戳错误。
-
Wan-Streamer v0.1：统一模型实现实时视听交互
研究人员推出了 Wan-Streamer v0.1，这是一种新颖的端到端多模态基础模型，专为实时、低延迟的视听交互而设计。与传统的级联系统不同，Wan-Streamer 在单一 Transformer 架构中集成了语言、音频和视频处理，并利用块因果注意力实现增量流式传输。这种统一的方法显著降低了管道延迟和错误累积，实现了亚秒级的双向视听通信，模型端响应延迟约为 200 毫秒。
-
GraphBEV++框架解决了自动驾驶感知中的特征不对齐问题
研究人员推出了GraphBEV++，一个旨在解决自动驾驶系统鸟瞰图（BEV）感知中特征不对齐问题的新型框架。该框架包含两个主要模块：LocalAlign-v2，它使用图匹配来处理邻域感知的深度特征，以纠正局部不对齐；以及GlobalAlign-v2，它提供可变形和扩散变体来解决全局不对齐问题。GraphBEV++在nuScenes和Waymo等数据集上展示了最先进的性能，在感知、预测和规划任务中提高了准确性和鲁棒性，即使在校准不确定性下也是如此。
-
语音AI悖论：高级对话，基础故障
像Yandex的Alisa这样的语音AI助手表现出一种悖论：它们拥有高级的对话能力，却在基本功能上出现故障，这源于其复杂的架构。这种混合系统结合了语音识别、推荐算法、LLM和启发式方法，创造出一种人格的幻觉，使用户对错误更加宽容。底层的LLM通过预测下一个词元来生成响应，导致产生听起来自信的幻觉，并在不同处理阶段之间丢失上下文，而语音活动检测（VAD）可能导致意外激活。
-
统一地图先验编码器增强自动驾驶建图与规划
研究人员开发了一种统一地图先验编码器（UMPE），旨在将高清/标清矢量地图、栅格地图和卫星图像等多样化的地图数据整合到自动驾驶系统中。该编码器通过为矢量和栅格数据采用独立的分支，并配备对齐和融合机制，解决了数据异构性和姿态漂移等挑战。UMPE在nuScenes和Argoverse2等数据集上显著提高了建图精度，并在端到端规划任务中显著降低了轨迹误差和碰撞率。
-
新的大语言模型统一音频和语言处理，支持全双工和医疗应用
研究人员开发了UAF，这是一种新颖的统一音频前端大语言模型，专为全双工语音交互而设计。该模型将语音活动检测和轮流发言等各种音频前端任务整合到一个序列预测问题中。UAF旨在降低对话式AI系统的延迟并提高中断准确性。此外，Au-M-ol被提出作为一种多模态架构，将大语言模型扩展到医疗音频和语言理解领域，显著降低了医疗转录的词错误率。