PulseAugur
中
实时 22:43:39
实体 ggml-org/llama.cpp

ggml-org/llama.cpp

PulseAugur coverage of ggml-org/llama.cpp — every cluster mentioning ggml-org/llama.cpp across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 10
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 10 条
  1. TOOL · CL_370624 ·

    本地 LLM、编辑器中的 AI 和应用构建的顶级 GitHub 仓库

    一份精选列表重点介绍了对本地 LLM 执行、代码编辑器中的 AI 集成以及使用大型语言模型构建应用程序感兴趣的开发者的热门 GitHub 仓库。该列表强调了积极维护的项目,包括用于在本地运行模型的工具,如 ollama/ollama 和 ggml-org/llama.cpp,AI 驱动的编辑器扩展,如 continuedev/continue,以及用于 LLM 应用开发的框架,如 BerriAI/litellm 和 langgeniu…

  2. TOOL · CL_350836 ·

    30.5B MoE LLM 在 4GB VRAM GPU 上以 39.2 tok/s 的速度运行

    一位开发者已成功优化了一个拥有 305 亿参数的混合专家(MoE)大型语言模型(LLM),Qwen3-30B-A3B,使其能够在仅有 4 GB VRAM 的标准办公工作站上以每秒 39.2 个 token 的速度运行。这是通过一个多阶段的工程过程实现的,该过程涉及对 llama.cpp 框架的修改和一个名为 Qwen3Studio 的自定义应用程序。关键优化包括将重要的模型组件策略性地放置在 GPU 上,限制每个 token 所咨询的…

  3. TOOL · CL_305789 ·

    llama.cpp CUDA 优化提升低比特类型性能

    一项提交给 llama.cpp 项目的拉取请求引入了针对 CUDA 的优化,专门针对低比特数据类型的更快速 MMVQ(矩阵乘向量量化)。预计此增强功能将显著加快 Q2_K 和 Q3_K 等特定量化格式的运算速度。

  4. TOOL · CL_289113 ·

    Llama-server 提示缓存错误导致 LoRA 缩放推理不正确

    llama-server 的 RAM 提示缓存中的一个错误可能导致在使用不同缩放比例的 LoRA 适配器时生成不正确的文本。缓存存储了计算出的 KV 状态,但没有记录使用的具体 LoRA 适配器和缩放比例,导致服务器可能重用过时的 KV 状态。在 `llama.cpp` 的多个版本中都观察到了此问题,在测试中,当一个提示首先以一种 LoRA 缩放比例处理,然后在另一个请求占用处理槽后以不同的缩放比例重新处理时,失败率为 100%。禁用…

  5. TOOL · CL_282244 ·

    Llama-server 错误报告推测解码时的 logprobs

    llama-server 软件中的一个 bug 导致推测解码错误地将生成 token 的对数概率报告为零。此问题会影响各种模型和配置,包括 Gemma 3B,当启用推测解码时。虽然生成的文本看起来正常,但对数概率数据不准确,可能会影响依赖这些值的下游应用程序。这个问题不容易被检测到,因为零对数概率可能自然发生,并且服务器不会指示这些是占位符值。

  6. TOOL · CL_205213 ·

    Llama.cpp项目发布v0.1.0,Amid AI炒作与怀疑

    Llama.cpp项目的新版本0.1.0已宣布,吹嘘其人工智能驱动的代码创建能力。此次发布伴随着巨大的炒作,使用了“开创性”和“革命性”等词语,但作者表示怀疑,认为这些功能被淹没在流行语中,可能并不特别具有创新性。

  7. TOOL · CL_113885 ·

    llama.cpp 更新通过减少同步来优化张量操作

    llama.cpp 项目的最新更新,特别是拉取请求 #20793,为张量操作引入了显著的优化。这些更改旨在减少拆分计算期间的同步开销,特别是通过用异步副本替换同步副本来使 CUDA 后端受益。这些修改还增强了后端检测,以防止链接冲突,并允许更普遍地选择性地放宽显式同步要求,这可能使 Vulkan 等其他后端受益。

  8. RESEARCH · CL_76137 ·

    llama.cpp 集成 Gemma 4 MTP 以提升本地模型性能

    llama.cpp 项目已合并对 Gemma 4 MTP 的支持,该功能可提高本地大型语言模型的速度和效率。此次集成允许用户利用 Gemma 4 的量化感知训练 (QAT) 和 MTP 来实现更快的设置。此次更新预计将显著提高个人 Gemma 模型的性能。

  9. TOOL · CL_73813 ·

    Granite Vision 4.1 4B 模型提供高效文档提取

    Granite Vision 4.1 4B 是一款新推出的视觉语言模型,专为高效结构化文档提取而设计。它在图表、表格和键值对提取等任务上表现出色,在紧凑的 4B 参数规模下提供具有竞争力的性能。这使其成为比大型模型更轻量级的专业文档分析替代方案。

  10. TOOL · CL_51748 ·

    新的‘复古’LLM 使用 1931 年前的英文文本进行训练

    一个名为 talkie-1930-13b-it 的新语言模型已被开发出来,它仅使用 1931 年前的英文文本进行训练。这个拥有 130 亿参数的模型是 talkie-1930-13b-base 的指令微调版本,而 talkie-1930-13b-base 最初是在 2600 亿个 token 上训练的。微调过程利用了源自历史参考作品的指令-响应对的独特数据集,随后进行了强化学习以增强其遵循指令的能力。