PulseAugur
中
实时 00:28:10
实体 flash_attn

flash_attn

PulseAugur coverage of flash_attn — every cluster mentioning flash_attn across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_281704 ·

    llama.cpp 优化 hexagon 架构以加速 AI 模型推理

    llama.cpp 项目发布了更新 b11430,专注于 hexagon 架构的性能改进。此次更新为 flash-attention 引入了头并行分区,允许每个核心处理 KV 缓存的特定头分片。这一改变显著提升了 Qwen3-0.6B 和 Llama 3.2:3b 等特定模型的性能,分别测量到高达 58% 和 49% 的提升。更新还包括了受 GGML_HEXAGON_FA_HEAD_SPLIT 标志控制的矩阵乘法和多设备场景的各种优化。

  2. TOOL · CL_212294 ·

    llama.cpp V cache quantization 需要 flash_attn,影响上下文窗口计算

    llama.cpp 项目有一个配置要求,即“V cache quantization”(V 缓存量化)需要使用“flash_attn”。这种联系通常被忽视,源于系统内部的内存布局决策。理解这种依赖关系对于准确计算可用上下文窗口至关重要,一位开发者发现,由于交错的注意力层,像 Gemma-family 12B 这样的模型的标准元数据计算是不准确的,这证明了这一点。该开发者通过使用小上下文启动 llama.cpp 并解析其运行时日志来确定…

  3. TOOL · CL_191826 ·

    llama.cpp b10336 为 Apple Silicon 重构 WebGPU 着色器

    最新发布的 llama.cpp 版本 b10336,对 WebGPU 着色语言 (WGSL) 文件进行了重大重构,并简化了 flash_attn WGSL 的实现。此次更新侧重于提高 WebGPU 加速的代码效率和结构,特别是针对 macOS 上的 Apple Silicon 硬件。

  4. TOOL · CL_64031 ·

    新的封装器可自动转换图像到 3D 模型

    一位开发者创建了 Pixal3D 和 ComfyUI 的自动化批量封装器,旨在简化将图像转换为 GLB 文件的过程。该工具可自动移除背景,通过 ComfyUI API 排队处理任务,并将完成的 GLB 资产移至输出文件夹。用户可以通过实时浏览器界面调整步数、令牌预算和纹理分辨率等参数,该系统可在 4070 Ti 等硬件上高效运行。