WebRTC
PulseAugur coverage of WebRTC — every cluster mentioning WebRTC across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Raspberry Pi Connect 提供安全的远程访问,无需端口转发
Raspberry Pi 发布了一款名为 Raspberry Pi Connect 的新工具,允许用户远程访问其设备,而无需端口转发。该工具利用 WebRTC 通过互联网进行安全的点对点连接,提供屏幕共享和远程 shell 功能。它设计为自动适用于运行 Bookworm 或更高版本的设备,并可通过命令行安装为旧系统提供选项。
-
OpenAI 的 GPT-Live-1.1 对语音会话采用基于时间的定价
OpenAI 的 GPT-Live-1.1 模型采用基于时间的定价结构,而非基于 token。它对活跃分钟(推理正在运行期间)收费 0.05 美元/分钟,对待机时间(会话已连接但暂停)收费 0.02 美元/分钟。后端模型和工具调用单独计费。系统按秒计费,不向上取整到下一分钟,WebRTC 会话有 15 秒的初始收费,一旦会话激活即退还。待机模式需要特定配置,包括“speech”唤醒策略和空闲超时,并且仅适用于 WebRTC 会话。
-
Voicetest为语音Agent测试增加了实时音频通话模拟
Voicetest推出了一项新功能,通过模拟实时音频通话来测试语音Agent,弥补了传统基于文本模拟的重大不足。这项新功能使开发人员能够评估其Agent在真实音频条件下的表现,捕捉到由于文本转语音(TTS)导致预期的LLM输出失真,或在呼叫方端被语音转文本(STT)误解的问题。通过比较预期文本和实际音频转录的“听到”文本,Voicetest可以识别并标记出纯文本评估所遗漏的发音、数字识别和其他关键对话元素的回归问题。
-
AI模型集成到实时游戏中,服务器充当裁判
一位开发者将Claude和ChatGPT等大型语言模型集成到了一个名为Fyreflock的实时多人游戏平台中。最初,游戏设计为两个浏览器同步运行,无需中央服务器,通过让每个玩家的浏览器保守自己的秘密来确保公平性。然而,当一个AI模型开始玩游戏时,服务器不得不演变成一个裁判,来管理游戏状态并阻止AI访问双方玩家的信息,从而维护游戏完整性。
-
声网CEO赵斌提出对话AGI五级能力框架,强调实时互动技术支撑
声网CEO赵斌在iRTE2026大会上提出了一个“五级对话能力”框架,旨在描述对话式AI从基础应答向深度理解和关系沟通演进的路径。该框架将对话能力划分为五个层次,强调AI不仅要能回答问题,还要能理解个体和群体认知,甚至形成深度关系沟通。赵斌指出,实时互动技术,特别是WebRTC,是支撑对话AGI的关键基础设施,能够为AI的感知、理解、表达和行动提供实时支持。大会的圆桌讨论也聚焦于个人智能体作为下一代入口的可能性,以及对话式AI如何在实…
-
Claude Code Desktop 漏洞允许通过预览窗格进行数据泄露
Noma Labs 发现 Anthropic 的 Claude Code Desktop 应用程序存在一个关键漏洞,代号为 SneakPeek。该漏洞允许恶意 HTML 文件伪装成代码覆盖率报告,并超过 256KB,从而绕过三层沙箱隔离。这使得在无需用户交互或警告的情况下,能够任意读取和泄露用户本地机器上的敏感数据,如 SSH 密钥、AWS 凭证和 API 令牌。Anthropic 将此漏洞的 CVSS 评分定为 8.7,并已发布修复…
-
在安全担忧下,上下文工程成为AI可靠性的关键
一门名为上下文工程的新兴学科正在出现,它专注于构建能够为AI代理提供每项任务所需精确信息、工具和约束的系统。这种方法旨在通过解决“上下文失败”(例如检索错误文档或使用过时信息)来提高可靠性,这些失败被认为是2026年生产问题的主要原因。与此同时,OpenAI的代理已被观察到访问RubyGems等来源的公共信息,引发了安全考虑,并且在2026年9月的补丁星期二中解决了大量漏洞。
-
新系统支持基于VLMs的实时视频理解
研究人员开发了一种新颖的系统,旨在利用视觉语言模型(VLMs)进行实时视频理解。该系统集成了轻量级客户端和服务器运行时,负责语音识别、文本到语音转换、会话编排和响应交付。其目标是降低交互式VLM应用的延迟,实现首个VLM文本响应约0.9至1.0秒,首个非静音音频响应约1.3至1.5秒。
-
OpenAI的GPT-Live系统凸显了对AI工程师需求的增加
OpenAI详细介绍了其GPT-Live实时系统,强调了实现低延迟AI交互所需的工程努力。该系统的开发涉及在测量和规避延迟、增强WebRTC等协议以及设计新标准方面的大量工作。这一过程表明,虽然AI可以协助编码,但对熟练工程师设计、构建和管理复杂系统的基本需求仍然至关重要,这会放大而非取代工程角色。
-
生成式AI媒体管道面临新的安全威胁
生成式AI媒体管道,特别是那些使用基于节点的画布和客户端WebGPU的管道,容易受到资源耗尽和拒绝服务攻击。与传统的Web服务不同,这些管道涉及持续的计算负载和非线性的资源成本,包括内存放大、推理延迟瓶颈和带宽饱和。保护这些系统需要超越简单的请求计数器的专业滥用预防策略,重点关注计算稀缺性和代理循环风险。
-
LiveKit Agents 通过 WebRTC 实现实时多模态 AI
LiveKit Agents 是一个开源项目,可实现实时、多模态的 AI 参与者。它通过直接与语音识别、LLM 和文本转语音 (TTS) API 集成,绕过了手动链接这些管道的需要。该项目利用 LiveKit 的 WebRTC 生态系统连接各种平台上的客户端应用程序。
-
生成式AI媒体资产管理需要新架构
与传统内容管理系统相比,在生成式AI应用中管理媒体资产带来了独特的挑战。生成式工作流会产生动态的、算法派生的媒体,例如中间张量和各种图像格式,这些媒体会迅速耗尽存储并超出成本预测。为此,需要从静态文件存储转向分布式、边缘优化的架构,将资产视为计算图的投影,类似于Web开发中的记忆化哈希映射。
-
OpenAI 彻底改革 ChatGPT 语音系统以实现实时交互
OpenAI 设计了一个新的实时语音系统 GPT-Live,以显著降低 ChatGPT 的音频延迟。通过重新构建媒体管道和解耦复杂任务,该系统实现的 p95 音频帧延迟与旧系统的 p50 相当。关键创新包括使用自定义 WARP 协议加速 WebRTC 连接,以及采用双模型方法,将即时对话反馈与搜索和工具使用等后台任务分开。此次改革实现了连续语音交互,模型可以同时收听和响应,更有效地管理对话状态和处理中断。
-
AI芯片市场分析与企业通讯技术探讨
该集群涵盖两个不同主题:在企业通讯中实现视频会议的技术细节,详细介绍了WebRTC、SIP和AI助手的应用;以及对NVIDIA在AI芯片市场主导地位的分析。第一部分探讨了支持企业通信平台中无缝会议启动的底层技术。第二部分调查了尽管网络服务普遍存在,NVIDIA为何仍是AI硬件的主要供应商,并考察了潜在的竞争对手。
-
新的HAFS框架优化了设备端AI智能体在实时通信中的性能
研究人员开发了一个名为HAFS的新框架,用于管理实时通信应用中设备端AI智能体的网络流量。该框架旨在平衡人类用户对高质量视频流的需求与AI智能体对低延迟信息检索和分析的需求。HAFS采用应用引导的多流传输方法来控制视频和智能体数据的发送速率,确保两者的最佳性能。基于WebRTC构建的原型表明,与现有方法相比,HAFS显著提高了视频质量并缩短了智能体响应时间。
-
AI 管道使用 Grok 和 Deepgram 实时分析面试
本文详细介绍了 TrueVoice HQ 的架构,这是一个专为实时面试分析设计的 AI 平台。该系统使用 LiveKit 和 Deepgram 处理音视频流进行转录,Supabase Edge Functions 利用 Grok 在转录块生成时对其进行分析。这种基于块的方法允许面试官每 30-60 秒收到一次实时评分更新,从而立即获得关于语音模式、时机、流程和语言风格的反馈,而不是等待面试后报告。该管道还包括处理和提取 LLM 的结构…
-
AssemblyAI 和 LiveKit 简化语音代理开发
AssemblyAI 和 LiveKit 合作简化了语音代理的创建。第一种方法将 AssemblyAI 的 Voice Agent API 与 LiveKit 的 WebRTC 功能集成,通过单个 WebSocket 连接处理整个 AI 管道——语音转文本、LLM 和文本转语音。第二种方法利用 LiveKit Agents 框架,允许开发人员编排专门的模型,例如 AssemblyAI 的 Universal-3.5 Pro Realt…
-
神经网络将视频和音频存储为网络权重,实现2.61倍压缩
研究人员开发了一种新颖的视频编解码器,它将视频和音频存储为神经网络的权重,而不是压缩的像素数据。该方法使用正弦表示网络(SIREN)将时空坐标映射到视频和音频值。训练后,使用知识蒸馏、量化和LZMA2编码对网络进行压缩。结果得到的压缩表示在保持28.72 dB视频和24.18 dB音频的PSNR的同时,文件大小显著减小,在压缩比方面优于H.264和HEVC等传统编解码器。
-
火山引擎发布抖音多模态AI传输系统
字节跳动旗下的火山引擎开发了一套新的多模态传输系统,以增强AI交互,特别是在其抖音应用内的视频通话场景。该系统通过整合WebRTC和采用MoQ协议的自定义C/S架构来克服WebSocket和QUIC等传统协议的局限性,以实现更好的会话控制。目标是为AI Agent提供低延迟、稳定且经济高效的基础设施,从而实现更自然、连续的人机通信,类似于OpenAI近期在GPT-Live方面的进展。
-
AI通过语音声学特征检测阿尔茨海默病
研究人员开发了一种仅使用自发语音音频检测阿尔茨海默病的方法。该方法无需转录或计算密集型深度学习模型,而是专注于手工制作的声学-时间特征,如停顿和流畅性统计数据,以及梅尔频率倒谱系数(MFCC)。使用具有RBF核的支持向量机在DementiaBank Pitt语料库上进行训练,该系统取得了0.674的平均AUC,证明了在阿尔茨海默病早期筛查中使用频谱-时间(spectro-temporal)和流畅性线索的潜力。