FLOPS
PulseAugur coverage of FLOPS — every cluster mentioning FLOPS across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
PrototypeNAS 加速微控制器上的深度神经网络设计
研究人员开发了 PrototypeNAS，这是一种新颖的零样本神经架构搜索方法，旨在为微控制器单元 (MCU) 快速创建高效的深度神经网络 (DNN)。该方法自动化了 DNN 的选择、压缩和专业化，解决了现有 NAS 技术资源密集型的特性。PrototypeNAS 将 DNN 设计与训练分离，并利用零样本代理的集成以及超体积子集选择来优化准确性和 FLOPs，从而能够在现成的 MCU 上以与大型模型相当的性能进行部署。
-
新的GRAPE框架提升神经网络的对抗鲁棒性
研究人员推出了一种新颖的训练框架GRAPE，旨在增强神经网络的对抗鲁棒性，同时保持模型尺寸紧凑。GRAPE的独特之处在于将鲁棒模型学习视为一个演化过程，逐步暴露和优化参数，而不是从一开始就依赖固定结构。这种引导式参数空间演化方法，包括渐进式隐藏扩展和对抗性谱利用分数，在CIFAR-10上与传统的对抗训练方法相比，在鲁棒准确性方面取得了显著的改进，即使在计算预算相当且参数数量减少的情况下也是如此。
-
可变宽度Transformer在语言模型中提供更高的效率
研究人员提出了一种新颖的Transformer架构，称为“> <former”或“x形”架构，它偏离了所有层之间标准的统一宽度。这种新设计为早期和晚期层分配了更宽的容量，同时缩小了中间层，并使用无参数的残差重缩放机制。实证结果表明，这种不均匀的宽度分配在语言模型中带来了更高的性能和更大的资源效率，并减少了FLOPs和KV缓存内存。
-
LLM 研究日记 #3：PyTorch 张量、浮点类型和训练基础设施
这篇 LLM 研究日记重点介绍了用于训练大型语言模型的 PyTorch 基础知识。它详细介绍了张量基础知识，探讨了 FP32、BF16 和 FP8 等各种浮点数据类型以提高效率和稳定性。该条目还涵盖了使用“einops”进行清晰的张量运算、计算成本（FLOPs）的计算方法以及使用自定义优化器和正确初始化进行模型构建的实际方面。
-
BudgetFormer 通过自适应注意力头分配降低 Transformer 成本
研究人员开发了 BudgetFormer，一种 Transformer 架构，通过动态分配计算资源来优化多头注意力的使用。这种新机制学会为每个输入选择信息量最大的注意力头，减少不必要的计算并可能提高性能。在文本分类任务上的实验表明，BudgetFormer 在匹配或超过标准全多头注意力的有效性的同时，可以减少 FLOPs 和内存使用。