Moshi
PulseAugur coverage of Moshi — every cluster mentioning Moshi across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Metronome 系统约束 AI 模型缓存以实现实时交互稳定性
研究人员开发了一个名为 Metronome 的新系统，旨在改进交互式 AI 模型的实时服务。这类模型，例如 Moshi、MiniCPM-o 和 Qwen Omni，面临一个关键问题：持续负载可能导致突然的、灾难性的故障，而不是逐渐的性能下降。Metronome 通过约束每个会话的缓存大小来解决这个问题，从而提高稳定性和对系统性能的可观测性。这种约束机制可以防止 KV 缓存耗尽其容量，使在线准入控制器能够准确确定可调度的并发量并避免过度准入。
-
新的对话系统将实时面部生成与语音相结合
研究人员开发了Moshi-Face，一个新颖的全双工语音对话系统，它将面部生成与音频处理相结合。该系统利用VQ-VAE将面部数据编码为离散令牌，并使用Face Transformer非自回归地生成这些令牌。其结果是一个能够实时生成同步语音和面部表情的模型，在实现低延迟视听对齐的同时保持对话质量。
-
BayLing-Duplex 使单个 LLM 能够实现原生全双工语音对话
研究人员开发了 BayLing-Duplex，这是一种新颖的全双工语音语言模型，无需依赖外部轮流模块即可实现同时听和说。这个单一的自回归 LLM 可以处理自然的对话现象，如打断和犹豫。通过一个适度的数据集进行微调，BayLing-Duplex 在轮流和打断处理方面表现出很高的成功率，同时与基于轮流的模型相比，保持或提高了响应质量。
-
Moshi对话模型展现同步内部状态并预测轮流
研究人员探讨了全双工语音对话模型在交互过程中如何协调其内部表征。通过模拟两个Moshi模型实例之间的对话，他们观察到在理想条件下存在强烈的表征同步，但随着信道噪声的增加，同步性会下降。研究还发现，这些模型的内部状态编码了预期信息，使其能够提前预测轮流提示。
-
Thinking Machines 预览实时 AI 协作的交互模型
Thinking Machines 推出了一项交互模型的研究预览，该模型专为原生、实时的协作而设计。这些模型可同时处理音频、视频和文本，实现持续的思考、响应和行动。这种方法旨在克服当前基于回合制的 AI 界面的局限性，从而实现更自然、更流畅的人机协作，模仿人与人之间的互动。
-
新方法提升全双工语音模型以实现更好的交互
研究人员开发了新的方法来增强全双工语音模型，从而实现更自然、更具交互性的对话。一种方法侧重于使用强化学习来改进暂停处理和轮流发言等交互轴，并将其应用于 Moshi 和 PersonaPlex 等模型。另一种方法，Listen-Write-Speak (LWS)，引入了一种以文本为中心的范式，模型可以同时收听、写入可见文本并进行语音输出，利用文本原生能力而不牺牲实时响应能力。
-
Sakana AI 的 KAME 架构在不引入延迟的情况下将 LLM 知识注入语音 AI
Sakana AI 开发了 KAME，一种新颖的语音到语音 AI 串联架构，旨在结合直接系统的速度和基于 LLM 方法的知识深度。KAME 由两个异步组件运行：前端生成即时响应，后端 LLM 实时注入更丰富的知识。这使得系统能够在句子中间更新其响应，模仿人类对话调整而不会引入明显延迟。
-
Josh Talks 发布首个全双工印地语对话 AI 模型
研究人员开发了首个开放且可复现的印地语全双工口语对话系统。该系统名为 Human-1，改编自 Moshi 架构，并在近 15,000 名说话者提供的 26,000 多小时的真实对话上进行了训练。该模型旨在处理诸如打断和重叠等自然对话元素，目标是实现更自然的印地语以及潜在的其他印度语言的实时口语互动。