Georgi Gerganov
PulseAugur coverage of Georgi Gerganov — every cluster mentioning Georgi Gerganov across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
llama.cpp b12550 通过新功能和修复增强了调度器测试
llama.cpp 项目已发布 b12550 版本,其中包含对其后端调度器测试的重大更新。此版本引入了初始调度器压力测试、用于简化测试的新 sleep 操作以及 GGML 操作的实验性 Vulkan 支持。更新还优化了现有测试,修复了与纯 CPU 设置和 Vulkan 测试失败相关的问题,并通过新的 RAII 类型改进了内存管理。此外,该版本还整合了代码审查的反馈,并调整了测试以更好地处理各种后端配置和潜在的时钟漂移。
-
llama.cpp v1.0.0 发布,承诺提供稳定的 API
流行的开源推理引擎 llama.cpp 已发布 1.0.0 版本,标志着其 API 稳定性迈出了重要一步。此次发布为其核心库 libllama 和 libggml 引入了语义化版本控制,承诺只有在主版本号更新时才会发生重大更改。这一变化对于在 llama.cpp 之上构建应用程序的开发者至关重要,提供了更可预测的开发体验。更新还包括性能增强,如 FP8 KV 缓存和改进的多模态功能,例如文本转语音功能。
-
llama.cpp 更新增强了 SYCL 后端以支持 MoE 调度
llama.cpp 项目发布了更新 b12251,对其 SYCL 后端进行了重大改进,特别是在设备端混合专家(MoE)调度方面。此次更新优化了 MoE 专家在设备上的加载和执行方式。该版本还包括对张量卸载和图执行的增强,解决了主机卸载张量和 SYCL 图检查的问题,以提高性能和稳定性。此外,还更新了一些代码注释和命名约定以提高清晰度。
-
llama.cpp 配置实现企业级稳定性和多用户访问
开源推理引擎 llama.cpp,最初由 Georgi Gerganov 开发,现由 ggml-org 管理,被呈现为企业环境中 vLLM 等引擎的稳定且强大的替代方案。该指南详细介绍了如何为多用户生产环境配置 llama.cpp,强调其稳定性、高效的队列管理以及 OpenAI API 兼容性,尽管其最初设计用于本地使用。实用建议包括禁用提示缓存并利用 LiteLLM 进行架构集成。
-
llama.cpp b11890 版本改进了 deepseekv4.1 集成
llama.cpp 项目发布了 b11890 版本,该版本包含针对 deepseekv4.1 模型的后续修复和改进。主要变动包括使用 ggml_backend_tensor_copy 优化 DSV4 K 镜像的 kv-cache,将 Engram pad id 移至 llama_hparams,以及优化 llama_model 中的 token map。此外,该版本还移除了不必要的请求,并清理了与 deepseek41 模型类及其 m…
-
llama.cpp 发布优化和新操作;对比学习研究发布
llama.cpp 项目发布了两个预发布版本 b11936 和 b11840,引入了优化和新操作。版本 b11936 专注于改进 Qwen4Exp 和 GLM5-Next 等模型的 k-pool 稀疏选择,允许更灵活的掩码布局。版本 b11840 为 hexagon 后端添加了 CEIL 操作,支持 32 位和 16 位浮点格式。同时,一篇 arXiv 上的研究论文提出了一种名为“内部差异”的新度量方法,以更好地理解对比学习模型在类别…
-
Anthropic SDK更新,llama.cpp优化,以及OpenAI重置理论
近期Anthropic SDK for Python(v2.2.0)的更新包括支持消息线程和增强的用法/成本报告。同时,llama.cpp项目发布了新版本(b11793和b11774),专注于词汇加载优化和多模态模型的改进图像处理,并支持各种操作系统。另外,Reddit上的一个讨论推测,OpenAI最近的“重置”是为了通过逐步减少额外使用权限来管理计算需求的增加,并为新模型的发布做准备。
-
Llama.cpp 更新,Anthropic 安全检查,Cursor 免费套餐,以及 ClaudeAI 用户参与度
llama.cpp 项目已发布 b11785 版本,其中包括对专家混合(MoE)模型进行的优化,并支持多种硬件配置,包括 Apple Silicon 和 openEuler。另外,Anthropic 为使用其 AI 的开源项目提供免费安全检查。在面向用户的更新方面,Cursor+ 似乎已将其免费套餐中的“自动标签”功能设置为无限使用,用户报告称在使用 ClaudeAI,特别是 Opus 5.5 模型时,参与度和生产力均有显著提升。
-
llama.cpp 更新 KV 缓存处理以支持部分状态序列化
llama.cpp 项目发布了版本 b11644 的更新,该更新改进了键值 (KV) 缓存处理部分状态序列化的方式。此更新确保缓存正确支持 PARTIAL_ONLY 标志,防止缓存数据不必要地复制到服务器检查点。更改涉及 src/llama-kv-cache.cpp 和相关的内存包装器,Georgi Gerganov 贡献了此更新。test-llama-context 中的一个新测试用例验证了在未使用 SWA 时,部分状态不会超过完整…
-
llama.cpp项目发布多个预发布更新,支持新模型并进行优化
llama.cpp项目已发布多个预发布更新,包括b11559,该更新增加了对Gemma-4 GPU解码的支持,并优化了各种配置的解码。版本b11558解决了Q4_K密集bin内核的图像限制和OpenCL中的RMS范数计算问题。其他更新包括改进RPC后端日志记录、支持Prism Bonsai 2 27B和MiniCPM-V 4.7等新模型,以及修复CPU和Vulkan功能。这些更新还继续扩展了对各种操作系统和硬件架构的兼容性。
-
llama.cpp 更新 b11479 提升 CUDA pool2d 性能
llama.cpp 项目发布了更新 b11479,其中包括改进 pool2d 函数中的 CUDA 内存读取。此次更新还为 pool2d 带来了性能增强和 __restrict__ 关键字,并调整了 POOL2D_WARP_KERNEL_MIN_WINDOW 宏。此外,该版本还修复了编译器错误。
-
llama.cpp 添加 GLM5-Next MTP 优化和 GGUF 加载
llama.cpp 项目发布了更新 b11474,为 GLM5-Next 模型引入了重要的优化和功能。此次更新包括实现了一个多令牌预测 (MTP) 图,称为 NextN,通过修剪不必要的计算来提高效率。这些更改还解决了提取合同和共享尾部回滚问题,并引入了加载仅 MTP 或仅 trunk 的 GGUF 文件的能力,从而允许加载草稿模型。
-
llama.cpp b11439 重构专家复制,添加 DeepSeek2 测试
llama.cpp 项目已发布 b11439 版本,其中包括将选择性专家复制重构为用户代码。此次更新还纳入了将两个模型纳入选择性专家复制测试的测试,特别是使用 DeepSeek2 作为测试模型。该版本还改进了注释和空格修复。
-
llama.cpp 项目发布预发布更新,包含性能优化
llama.cpp 项目发布了多个预发布更新,包括对 MoE expert 的 GPU 缓存管理改进、针对 Apple Silicon 的各种量化类型的优化,以及对 Metal fusion 操作的修复。这些更新还解决了 temperature-zero chains 的采样逻辑,并引入了新的词汇 token。这些发布涵盖了 macOS、iOS、Linux、Android 和 Windows 等广泛平台,并针对 Apple Silic…
-
Meta高管被揭露为盗版者;讨论Hugging Face收购后llama.cpp的未来
一位成人电影制片人指认一位名为“John DOE”的猖獗盗版者是Meta公司的一位高管。另外,llama.cpp和GGML的创建者Georgi Gerganov就Nvidia收购Hugging Face后这些项目的未来发表了评论。
-
llama.cpp 的核心是 GGML,一个用于 CPU 推理的 C 语言库
llama.cpp 项目是运行大型语言模型在消费级硬件上的流行工具,它建立在一个名为 GGML 的基础 C 语言库之上。GGML 由 Georgi Gerganov 创建,它既是一个轻量级的张量计算引擎,也是一个为 CPU 和激进量化优化的模型存储格式。这种设计使得像 Meta 的 LLaMA 这样的模型能够在普通笔记本电脑上高效运行,而无需 GPU 或大量的 Python 依赖。GGML 格式及其后继者 GGUF 对于通过内存映射快…
-
Georgi Gerganov 因通过 llama.cpp 实现本地 LLM 运行而受到赞誉
Georgi Gerganov 因通过开发 llama.cpp 为开源 AI 社区做出的重大贡献而受到认可。该项目在使大型语言模型更容易在本地执行方面发挥了重要作用。Gerganov 的工作因促进了 AI 技术更广泛的使用和实验而受到广泛赞赏。
-
llama.cpp 创建者称 AI 代理将放弃云,转向本地处理
llama.cpp 的创建者 Georgi Gerganov 预测,90% 的 AI 代理将摆脱基于云的基础设施。这一转变的驱动力在于,本地运行大型语言模型(例如 70B 参数模型)的能力日益增强且相对容易。Gerganov 的观点预示着一个去中心化的、设备上 AI 处理将成为常态的未来。
-
Georgi Gerganov 称赞 Qwen3.6-27B 适用于本地编码任务
Georgi Gerganov 发现 Qwen3.6-27B 模型在本地编码任务方面非常有效,他每天都在 ggml-org 使用它进行日常维护工作。他主要在 Apple M2 Ultra 或 RTX 5090 上运行该模型,并使用带有自定义系统提示的 Pi Agent 的精简版本。Gerganov 的认可凸显了本地模型在实际日常应用中日益增长的能力。