PulseAugur
实时 17:44:04
English(EN) HTML to Markdown: What Benchmarks Forget

研究发现 HTML 转 Markdown 的 token 缩减幅度差异很大

近期对 AI 模型进行 HTMLMarkdown 转换的分析显示,普遍引用的 80% token 缩减率并非普遍适用。实际的 token 缩减幅度差异很大,从 1.4 倍到 734 倍不等,具体取决于网页的结构和内容。现代的、大量使用 JavaScript 的页面在转换过程中会经历最显著的缩减,通常会丢失价格和规格等关键数据,而不是简单地压缩文本。 AI

影响 突显了 AI 数据摄入中潜在的低效率,表明标准的 token 缩减方法可能会丢弃关键信息。

排序理由 对一个对 AI 数据处理有影响的技术过程的分析。

在 dev.to — MCP tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现 HTML 转 Markdown 的 token 缩减幅度差异很大

报道来源 [1]

  1. dev.to — MCP tag TIER_1 English(EN) · J. Gravelle ·

    HTML 转 Markdown:基准测试忽略了什么

    <h3> A look at what actually survives </h3> <p><strong>TL/DR:</strong> Stripping HTML down to plain markdown is widely described as cutting tokens by about 80%, or roughly 5x. On ten pages I measured, the cuts ranged from 1.4x to 734x. The biggest cuts were not tightly packed pag…