Apple Metal
PulseAugur coverage of Apple Metal — every cluster mentioning Apple Metal across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Rust LLM推理引擎面临CUDA GPU集成挑战
作者详细介绍了他们将Rust LLM推理引擎mini-vllm-rs与NVIDIA GPU集成使用CUDA的经验。最初期望只需重新编译即可，但遇到了几个问题，包括F16激活失败以及影响GPU性能的CPU优化。在解决这些问题后，他们能够在Kaggle的免费T4 GPU上运行Qwen2.5 0.5B和Llama-3.1 8B等模型，尽管F16激活在CUDA上对更大的模型仍然会产生损坏的文本，导致回退到F32。
-
新的HyperDrone模拟器以每秒数百万帧的速度渲染无人机模拟
研究人员开发了HyperDrone，这是一种新颖的四旋翼模拟器，在速度上显著优于现有系统，批处理渲染速度提高了20倍以上。该模拟器使用了一个名为HyperLux的GPU加速光线追踪引擎，支持Nvidia OptiX、Vulkan、Apple Metal和WebGPU等多种图形后端。HyperDrone能够以每秒数百万帧的速度渲染高保真观测，包括RGB、深度和语义分割，从而能够训练可以直接迁移到Crazyflie等真实无人机上的基于视觉的控制策略。
-
llama.cpp、PyTorch 和新的 MoE 模型迎来重大更新
llama.cpp 项目发布了更新，增强了 WebGPU 加速功能，并简化了 FlashAttention 的实现，以实现更高效的本地 LLM 推理。同时，PyTorch 的 MPSInductor 现在支持 Apple Metal 代码生成的无符号整数类型，提高了在 Apple Silicon 上的兼容性和性能。此外，一个名为 maple-preview 的新的开源权重混合专家模型正在 Hugging Face 上获得关注，为本地实…
-
QuantProof工具可自动执行LLM量化，以实现特定任务的性能
QuantProof是一款新工具，旨在帮助用户为其特定任务确定最佳模型量化。它自动化了针对用户真实数据运行各种模型的过程，并测量准确性、速度和内存使用量等性能指标。该工具强调，最佳模型取决于任务，单一排行榜无法捕捉这种细微差别，因此主张直接测量而非估算。
-
OCaml将开源LLM集成到原生函数中
新开发的OCaml库ocaml-deepseek可以将开源LLM直接集成到OCaml应用程序中。该库利用本地推理引擎Dwarfstar，在高端Mac上运行DeepSeek的V4 Flash等模型。这种集成允许LLM作为常规OCaml函数被调用，使开发人员能够在应用程序中构建代理循环，而无需依赖外部服务。