PulseAugur
中
实时 19:12:30
实体 PowerInfer

PowerInfer

PulseAugur coverage of PowerInfer — every cluster mentioning PowerInfer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_301755 ·

    新工具静态扫描GGUF模型文件中的安全漏洞

    Munim, Inc.发布了一款新工具gguf-scan.py,旨在加载GGUF模型文件之前静态识别其中潜在的安全漏洞。该工具专注于检测文件头中的整数溢出错误,这些错误已导致llama.cpp、Ollama和LM Studio等各种GGUF解析器出现堆越界写入或读取问题。此次发布包含一份已知的GGUF通用弱点枚举(CWE)的全面映射,以及一套仅包含头文件的测试文件,以帮助开发人员对其GGUF解析器进行回归测试。

  2. COMMENTARY · CL_105452 ·

    多层MoE缓存被讨论为LLM推理的未来方向

    Reddit上的一篇讨论探讨了多层专家混合(MoE)缓存的概念,认为这是MoE模型推理的潜在未来方向。该想法涉及将模型专家策略性地分布在CPU和GPU内存中以优化性能,利用了少数专家占大部分激活的观察结果。PowerInfer和Lidenburg的llama.cpp分支等几个现有实现和研究论文被引用为该方法的示例,该方法旨在提高大型模型的推理速度,尤其是在混合RAM/VRAM设置中。