实体
Iree
Iree
PulseAugur coverage of Iree — every cluster mentioning Iree across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
通过 Vulkan 在 GPU 上运行神经网络：库、编译器或自定义引擎
本文概述了使用 Vulkan API 在 GPU 上运行已训练神经网络的三种方法。它建议集成现有的库，如 TensorFlow Lite 或 ONNX Runtime，通过 ML 编译器（如 IREE 或 TVM）编译模型，或使用计算着色器开发自定义推理引擎以实现深度 Vulkan 集成。
-
Perplexity AI 开源 Rust 分词器，大幅降低 LLM 推理延迟
Perplexity AI 已开源一个用 Rust 实现的新 Unigram 分词器，该分词器显著降低了 LLM 推理的延迟和 CPU 利用率。与 Hugging Face 的 tokenizers Crate 相比，这个新分词器实现了高达 5 倍的 p50 延迟降低，并在生产环境中将 CPU 使用量减少了 5-6 倍。该优化针对 XLM-RoBERTa 等常用于排名和检索任务的模型，通过解决影响小型模型和重排器延迟的分词瓶颈。
-
AI重塑软件开发，将焦点从代码转向想象力
超过3000名软件开发人员参加了由DeepLearning.AI组织的AI Dev 26 x SF会议，讨论AI在软件开发中不断演变的角色。发言者强调，AI正在将瓶颈从编码转移到想象力，并加速行业转型。虽然一些人将AI视为提高速度和效率的工具，但另一些人则强调降低缺陷率和保持代码正确性高标准的重要性，并提到了Hydro、Cedar和Strata等项目。