实体
torch.compile
torch.compile
PulseAugur coverage of torch.compile — every cluster mentioning torch.compile across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
开发者创建简化的 torch.compile 以解释算子融合
一位开发者用大约 500 行 Python 代码创建了 PyTorch 的 `torch.compile` 的简化实现。该项目旨在说明算子融合的核心概念，这是 `torch.compile` 实现显著加速的关键，即使在处理像 NumPy 中那样高度优化的函数时也是如此。开发者分享了代码和相关的 notebook 来解释其机制。
-
新的MARS LLM架构使用内部状态来覆盖提示
一位研究人员开发了一种名为MARS的新型语言模型架构，该架构包含“本体感觉通道”，允许模型感知其自身的内部状态，例如记忆显著性或谨慎级别。当通道用于传达事实时，初始实验失败了，但当它们用于传达内部状态而事实在提示中时，实验就成功了。一项关键测试表明，模型的内部状态信号可以覆盖显式文本提示，这表明了一种超越传统提示工程的新型控制形式。
-
扩散模型加速取决于开销减少，而非仅仅是步数减少
单张图像扩散模型推理速度慢的原因在于内核启动开销和注意力内存流量，而非原始计算能力。通过在 `reduce-overhead` 模式下使用 `torch.compile` 进行优化，采用融合注意力后端，以及批处理无分类器引导，可以显著降低延迟。只有在这些优化之后，才应考虑使用蒸馏方法来进一步提高速度，同时仔细评估潜在的质量下降。