PulseAugur
实时 01:01:53
English(EN) Deterministic serialization for multi-agent LLM sessions - 3.45x fewer tokens than JSON, up to 9.9x for non-English content

新协议大幅削减多智能体系统的 LLM token 使用量

一位开发者创建了一种新的序列化协议,旨在减少多智能体大型语言模型 (LLM) 系统中的 token 使用量。该协议受 Protocol Buffers 启发,使用简短的、位置性的 ASCII 标识符,而不是冗长的自然语言或 JSON 来进行智能体间的消息传递。在 cl100k_base 分词器上的基准测试表明,它使用的 token 比 JSON 少 3.45 倍,由于分词器的偏见,对于非英语内容节省的 token 更多。该协议适用于结构化、可枚举的字段,并需要一个确定的 Python 实现来进行编码和解码。 AI

影响 通过显著减少 token 消耗,降低了多智能体 LLM 系统的运营成本。

排序理由 该项目描述了一个用于优化 LLM 使用的新软件工具/协议,而不是一个核心 AI 版本或研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新协议大幅削减多智能体系统的 LLM token 使用量

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · andrey-architect ·

    多智能体LLM会话的确定性序列化——Token数量比JSON少3.45倍,非英语内容最多可减少9.9倍

    <h2> The problem </h2> <p>Multi-agent LLM systems -” several models exchanging messages within<br /> one session -” pay for context, not intelligence. Every round trip in<br /> natural language or verbose JSON burns tokens re-stating structured<br /> context that a fixed, externa…