RLM-Rust

RLM-Rust 通过递归模型将 LLM 的 Token 成本降低了 96%

一位开发者创建了 RLM-Rust，一个旨在显著降低 AI 应用处理大上下文窗口相关 Token 成本的工具。通过在 Rust 中实现递归语言模型 (RLM)，该工具在 120,000-token 数据集上实现了比直接调用 LLM 高出 96.1% 的账单 Token 缩减。RLM-Rust 还提供了一个内存中查询引擎，在将相关信息发送到 API 之前在本地进行过滤，并支持包括 Gemini、OpenAI 和 Anthropic Cl…