实体
TokenMizer
TokenMizer
PulseAugur coverage of TokenMizer — every cluster mentioning TokenMizer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
TokenMizer 通过图数据库为大语言模型添加持久化记忆
TokenMizer 是一款旨在为大语言模型提供跨会话持久化记忆的新工具。与将更多历史记录塞入上下文窗口的传统方法不同，TokenMizer 充当一个代理，分析对话数据并将其存储在图数据库中。这种方法可以有效地回忆实体和关系，随着对话历史的增长，从而提高性能和成本效益。该工具包括一个用于调试的可视化浏览器，并且可以通过 CLI 或作为 MCP 兼容客户端（如 Cursor）的工具进行集成。
-
新的代理工具解决了长编码会话中LLM上下文记忆丢失问题
一位开发者创建了TokenMizer，这是一个本地代理，旨在解决大型语言模型在长时间编码会话中上下文窗口的限制。该工具通过构建对话图来工作，包括任务、决策和推理，而不是简单地重新发送原始聊天记录。这使得更有效的上下文管理成为可能，从而能够以显著更少的token恢复会话，并在更长的时间内保留决策历史。TokenMizer还包括一个文件智能层，用于处理具有token节省的大型数据文件，并与包括Claude、GPT、Gemini和Grok在…
-
新系统应对LLM长上下文服务瓶颈
两篇新研究论文介绍了管理KV缓存的新方法，KV缓存是在服务具有长上下文的大型语言模型时的关键瓶颈。RedKnot提出了一种头感知的KV缓存管理系统，该系统根据注意力头的注意力和有效范围对缓存进行分解，从而提高资源效率和可扩展性。TokenMizer将对话历史建模为图结构知识图，通过保留关系结构实现了显著的令牌经济和更高的决策召回率。