Nomic
PulseAugur coverage of Nomic — every cluster mentioning Nomic across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
用户移除 Stability Matrix,优化 LLM 资源使用
用户正在考虑从其设置中移除 Stability Matrix,因为它主要用于研究和学习目的。他们发现对于不再需要的技术来说,它是一个资源消耗大户,尤其是现在有了开源替代品。此外,他们计划优化集群中的模型参数大小和量化配置,以避免对简单任务使用过大的模型,并提到通过缩小嵌入器尺寸显著减少了 VRAM 使用量。
-
用户详细介绍使用 LMStudio、Hermes 和混合模型的复杂 AI 设置
用户详细介绍了其复杂的 AI 设置,该设置使用 LMStudio 作为服务器,Hermes 和 ByteBuddies 作为客户端。他们的架构(称为 MoM)利用了 Mistral 和 Qwen 模型混合用于各种任务,以及 Nomic 和 Gemma 模型用于嵌入和翻译等特定功能。该系统设计有强大的沙盒功能,并支持大量工具和自定义技能。
-
新工具通过知识图谱优化 AI 编码代理
Codebase-memory-mcp 是一款新的索引引擎,旨在通过将源代码转换为可查询的知识图谱来增强 AI 编码代理。它通过使代理能够提出高级结构化问题,解决了传统逐文件分析的局限性,从而降低了延迟和 token 成本。该工具利用 tree-sitter 进行 AST 分析,为关键语言提供混合语义解析,并使用带有 Nomic 嵌入的内存 SQLite 数据库进行高效的本地搜索,所有这些都打包成一个单一的、无依赖的二进制文件。
-
llama-server 路由为所有 GPU 分配 CUDA 上下文,导致 OOM 错误
r/LocalLLaMA 子版块的一位用户在使用 llama-server 路由模式时遇到了一个问题:每个模型实例,即使被固定到特定 GPU,也会在所有可用 GPU 上分配 CUDA 上下文。这种行为会导致运行多个模型时出现内存不足 (OOM) 错误,特别是当一个大模型消耗了某些卡上的大部分显存时,导致较小的模型无法在其他 GPU 上初始化其上下文。用户正在寻求解决方案,例如特定的标志或配置,以防止在未使用的 GPU 上分配上下文,或…
-
LLM社会在中等规模下展现出集体适应的最佳表现
研究人员调查了由大型语言模型(LLM)组成的AI社会中的集体适应和治理。他们使用可自我修正的游戏Nomic进行研究,发现集体适应能力并非随着模型规模的增大而持续提升。相反,LLM在中等规模下表现出最有效的规则采纳、多样化的修正和平衡的共识。较小的模型在规则制定方面基本不活跃,而较大的模型则倾向于限制性投票或僵局,尤其是在混合规模的群体中。