PulseAugur
实时 17:39:21
English(EN) I built MOS (MemoryOS) – a lightweight, self-hosted memory microservice for LLMs using Node.js, pgvector, and local embeddings.

开发者构建轻量级、自托管 LLM 内存微服务

一位开发者创建了 MemoryOS (MOS),这是一个用于管理大型语言模型长期内存的自托管微服务。该系统使用 Node.js 作为后端,PostgreSQL 配合 pgvector 扩展来存储嵌入,并使用独立的 Python 服务进行本地嵌入生成。MOS 包含一个自定义的排名算法,该算法结合了向量相似度和重要性得分,具备内存过期功能,并提供基本的提示压缩以减少 token 使用量。 AI

影响 为管理 LLM 上下文提供了一个自托管解决方案,可能减少对外部服务的依赖并提高数据隐私性。

排序理由 该集群描述了一个用户构建的与 LLM 集成的工具,而不是来自前沿实验室的发布或重要的行业事件。

在 r/OpenAI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. r/OpenAI TIER_2 English(EN) · /u/Dhiraj0 ·

    I built MOS (MemoryOS) – a lightweight, self-hosted memory microservice for LLMs using Node.js, pgvector, and local embeddings.

    <!-- SC_OFF --><div class="md"><p>Hey everyone,</p> <p>I’ve been experimenting with LLM applications and found that managing long-term context windows efficiently can get messy fast. A lot of existing RAG/memory solutions felt too heavy for my needs, so I built a decoupled, light…