实体
torch.nn.functional
torch.nn.functional
PulseAugur coverage of torch.nn.functional — every cluster mentioning torch.nn.functional across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
PIVOT 方法通过优化稀疏注意力来加速长上下文 AI 模型
一种名为 PIVOT 的新方法已被开发出来，用于优化动态稀疏注意力 (DSA) 模型在处理长上下文时的性能。PIVOT 解决了 DSA 索引器中的瓶颈问题，该瓶颈之前导致了二次方复杂度和推理速度减慢。通过对查询进行分组并为每个组使用单个代理扫描，PIVOT 显著加快了索引器的速度并降低了整体延迟，而无需重新训练模型。这种方法在 DeepSeek V3.2 和 GLM-5.1 等模型上展示了 4 倍的索引器加速和 1.6 倍的延迟降低。
-
PyTorch 管道使用 Gin Config 实现灵活的 ML 模型训练
本教程演示了如何使用 gin-config 库构建一个可配置的 PyTorch 管道。该方法将稳定的训练代码与实验参数分开，实验参数在声明式配置文件中进行管理。它详细介绍了创建一个非线性螺旋二分类任务，定义一个具有架构变体的灵活多层感知器（MLP），并通过 gin.configurable 绑定公开优化器、调度器和损失函数的参数。本教程还涵盖了使用 Gin 的作用域引用进行不同的模型配置，以及运行时绑定进行参数覆盖而不修改代码，确保为…