NobodyWho
PulseAugur coverage of NobodyWho — every cluster mentioning NobodyWho across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
TypeSafe AI 的 Jev 模型引发关于成本与开源替代方案的辩论
TypeSafe AI 推出了 Jev 模型，该模型专为快速、低成本的分类任务而设计。与生成文本的传统 LLM 不同，Jev 输出带有相关概率的类型化决策，在速度和成本方面具有显著优势。然而，一篇病毒式传播的博文表明，一个在本地运行的更小的开源模型可以复制 Jev 的核心功能，引发了关于 TypeSafe 产品真实性质和价值的辩论。
-
NobodyWho 和 Cactus：设备端 LLM 引擎比较
一项技术比较重点介绍了两个设备端 LLM 推理引擎 NobodyWho 和 Cactus，详细说明了它们在引擎设计、模型格式、硬件加速和许可方面的差异。NobodyWho 利用 llama.cpp 并直接支持现有的 GGUF 模型格式，提供广泛的兼容性。Cactus 采用专有的量化格式 (CQ) 和自己的引擎，针对具有特定 ARM NEON SIMD 和 Metal 支持的移动处理器进行了优化，但计划支持 NPU。虽然 NobodyW…
-
Kotlin 教程支持设备端 LLM 集成，无需云 API
一个教程演示了如何使用 Kotlin 将大型语言模型 (LLM) 直接集成到用户设备上，无需云服务器或 API 密钥。这种方法提供了离线功能、增强的隐私性和降低延迟等好处。该教程使用了 NobodyWho 库，该库封装了 llama.cpp 并为包括 Android 和桌面 JVM 在内的各种平台提供了绑定。它涵盖了从 Hugging Face 加载 .gguf 格式的模型、处理基本聊天交互以及流式传输 token 响应以获得更具交互…
-
设备端AI凭借新的SDK和CCTV集成获得关注
NobodyWho库使开发人员能够将大型语言模型（LLMs）直接集成到应用程序中，实现设备端AI，提供离线功能、增强隐私和降低延迟等优势。该库封装了llama.cpp，为包括Flutter、Python、Swift和React Native在内的各种编程语言和框架提供了绑定。它支持从Hugging Face下载模型，并提供多模态输入、语音转文本和工具调用等高级功能。另外，Intellivix正在将设备端AI集成到CCTV硬件中，用于实…
-
GGUF 格式解析：包含什么，缺少什么
llama.cpp 用于 AI 语言模型的 GGUF 文件格式具有多种优势，包括成为一个单一的、自包含的文件。它存储了除模型权重之外的关键信息，例如 Jinja2 中定义的聊天模板、EOS 等特殊标记以及采样器设置。然而，该格式目前不支持工具调用、思考标记和多模态 LLM 所需的投影模型等功能，通常需要单独的文件或依赖默认设置。
-
开发者推出集成LLM的AI游戏NobodyWho
一位开发者推出了一款名为NobodyWho的新AI驱动游戏项目，该项目目前处于实验阶段。游戏的核心将由LLM驱动，开发者已经成功使用AI生成了一个测试帖子。该项目还将提供“自带模型”（BYOM）选项。