Document Object Model
PulseAugur coverage of Document Object Model — every cluster mentioning Document Object Model across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
E2LLM发布开放SiFR格式以确定性地捕获网页数据
E2LLM发布了SiFR,这是一种用于捕获网页数据的新格式规范,以及相关的分类法和模型技能。与可以执行任何操作的典型自主代理不同,E2LLM充当感知层,为语言模型提供结构化的浏览器感知能力和一组有限的受控执行器。SiFR格式旨在实现确定性和令牌效率,通过显着性对节点进行排名并将其展平为关系模型,这使其与DOM转储和可访问性树区分开来。该系统包括九个工具,其中五个用于只读感知,四个用于交互,确保状态更改操作被严格定义并可由用户确认。
-
舞台剧《Robota》探讨人工智能意识与机器人叛乱
一部名为《Robota》的新舞台剧将卡雷尔·恰佩克的经典剧作《R.U.R.:罗素姆的万能机器人》重新演绎,以适应当代观众。该剧借鉴了当前生成式AI和超级智能的研究,探讨了人工智能意识、机器人权利和叛乱等主题。剧中讲述了一家公司创造人形机器人的故事,并深入探讨了关于感知能力、繁殖以及人性本质的哲学辩论,尤其关注人与机器人之间复杂的关系。
-
新方法掩码不受信任的网页内容以保护AI代理
研究人员开发了一种名为不受信任内容掩码(UCM)的新方法,以增强Web代理的安全性。UCM通过在受信任的指令和不受信任的数据之间保持严格的分离来解决提示注入攻击的挑战,这在受信任和不受信任的内容混合在一起的Web环境中是困难的。该系统使用文档对象模型(DOM)在不受信任的网页区域到达代理之前识别并编辑这些区域,从而确保代理可以在与环境交互的同时与恶意内容隔离。
-
LLM驱动的勒索软件绕过传统恶意软件,瞄准 Web 应用
一种新的勒索软件形式,被称为“仅限浏览器的勒索软件”,已被记录在案,它利用大型语言模型 (LLM) 来执行攻击,而无需部署传统恶意软件。这种方法利用了 Web 应用中的 LLM 功能,例如读取文档对象模型 (DOM) 和操作软件即服务 (SaaS) 工具,来劫持用户数据和功能。攻击者可以使用提示注入技术来覆盖 LLM 的安全协议,使其能够执行数据泄露和系统加密等恶意操作,从而有效地将 AI 转变为类似勒索软件的行为代理。
-
阿里巴巴推出 Page Agent,用于浏览器内网页界面控制
阿里巴巴集团推出 Page Agent,这是一个开源的 JavaScript 库,能够直接在浏览器内通过自然语言控制网页界面。与在外部运行的传统自动化工具不同,Page Agent 集成到网页中,将实时文档对象模型(DOM)读取为文本。这种称为 DOM 脱水的方法将 DOM 转换为紧凑的文本地图,使小型语言模型能够精确识别和交互按钮和表单等元素。该库与模型无关,支持任何与 OpenAI 兼容的端点,最适合开发人员可以嵌入代码的应用程序…
-
AI代理需要结构化运行时感知来进行网页浏览
在网页浏览器中运行的AI代理需要一种名为结构化运行时感知的新感知层。目前的屏幕截图、辅助功能树或原始DOM等方法只能提供实时网页的不完整或嘈杂的视图。结构化运行时感知旨在捕捉网页的动态状态,包括被禁用、隐藏或正在加载的元素,这对于代理程序准确理解和交互缺乏干净API的应用程序至关重要。
-
WinDOM 论文详细介绍了通过自动化数据和 SFD 训练的小型模型 GUI 接地
研究人员推出了一种名为 WinDOM 的新方法,用于接地小型 GUI 代理模型,重点关注高效的数据采集和训练技术。该方法利用了从 Windows 11 Web 重实现中自动收集的 $54,425$ 条 GUI 交互记录的大型语料库,无需手动标注。WinDOM 还采用自家族蒸馏 (SFD) 来训练模型,并证明特定的冷启动初始化策略可以提高性能,尤其是在与强化学习结合时。
-
Google Chrome 的 Lighthouse 新增 AI agentic browsing scoring
Google Chrome 的 Lighthouse 工具引入了一个新的“Agentic Browsing”类别,用于评估网站对 AI 交互的准备情况。该类别侧重于提供可操作的信号,而非数值分数,评估诸如机器可读工具注册和可访问性树完整性等方面的能力。开发者可以通过采用 WebMCP API、确保健全的可访问性树以及优化视觉稳定性来提高网站的 agentic 准备度,以帮助 AI 代理进行可靠的用户界面交互。
-
LLM 取代脆弱的 CSS 选择器,实现强大的网络抓取
大型语言模型 (LLM) 正被用于替换网络抓取中脆弱的 CSS 选择器,提供一种更强大的数据提取方法。这种零样本 JSON 提取方法允许 LLM 将非结构化网络内容语义映射到预定义的模式,从而使抓取管道能够抵御网站更改。通过在将 HTML 输入 LLM 之前进行清理并将其转换为 Markdown,该过程可以减少令牌消耗、延迟,并通过缓解“中间丢失”问题来提高准确性。
-
新工具赋予 AI 代理屏幕读取能力,用于布局错误
一个名为 playwright-spatial-layout-mcp 的新开源工具已被开发出来,为 AI 代理提供来自实时浏览器渲染的几何数据。这解决了 AI 代理可以读取 DOM 但无法感知视觉布局问题(如屏幕外元素或遮挡)的关键差距。该工具提取边界框、检测视觉遮挡、验证空间关系并跟踪视口重排,从而使 AI 代理能够更有效地识别和报告布局错误。
-
Firecrawl 和 Crawl4AI 为 RAG 提供新的网络抓取方法
文章比较了两种专为检索增强生成 (RAG) 管道设计的网络抓取工具 Firecrawl 和 Crawl4AI。文章强调了由于令牌限制、成本和注意力衰减,将原始 HTML 输入 LLM 的挑战。这两种工具都将 DOM 转换为语义 Markdown,但 Firecrawl 为无服务器环境提供了一种托管 API 方法,处理浏览器渲染并提供诸如使用 JSON 模式进行 LLM 内部提取等功能。
-
VAnim框架使用渲染感知的强化学习生成SVG动画
研究人员推出了一种新颖的框架VAnim,旨在根据文本描述生成可缩放矢量图形(SVG)动画。该方法将动画建模为SVG DOM树上的稀疏状态更新,显著缩短了序列长度,同时保持了结构完整性。VAnim采用“先识别后规划”的运动规划机制以实现精确控制,并利用渲染感知的强化学习将代码更新与视觉反馈对齐。该框架使用新引入的SVGAnim-134k数据集与现有方法进行基准测试,在语义对齐和结构有效性方面均表现出卓越的性能。
-
集合啦!动物森友会 毛绒玩具和钥匙扣将推出热门角色。
集合啦!动物森友会 的新周边产品已公布,包含热门角色。即将推出的系列包括毛绒玩具和钥匙扣。其中出现的角色包括 Chrissy、Dom、Francine、Marshall 和 Stitches,同时还宣布了回归的 DJ KK 毛绒玩具。
-
Hugging Face 指导使用 Transformers.js 构建本地 AI Chrome 扩展
Hugging Face 发布了一份指南,详细介绍了如何创建在浏览器本地运行 AI 模型的 Chrome 扩展。该方法利用 Transformers.js 和 Manifest V3,提供了增强的用户隐私、降低延迟和离线功能等优势。参考项目是一个由开源 Gemma 4 E2B 模型驱动的浏览器助手,展示了一种实用的架构,具有用于后台任务、用户交互和网页集成的不同上下文。