实体
FLOPS
FLOPS
PulseAugur coverage of FLOPS — every cluster mentioning FLOPS across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
LLM Study Diary #3: PyTorch tensors, float types, and training infrastructure
This LLM study diary entry focuses on PyTorch fundamentals for training large language models. It details tensor basics, exploring various floating-point data types like FP32, BF16, and FP8 for efficiency and stability.…
-
BudgetFormer 通过自适应注意力头分配降低 Transformer 成本
研究人员开发了 BudgetFormer，一种 Transformer 架构，通过动态分配计算资源来优化多头注意力的使用。这种新机制学会为每个输入选择信息量最大的注意力头，减少不必要的计算并可能提高性能。在文本分类任务上的实验表明，BudgetFormer 在匹配或超过标准全多头注意力的有效性的同时，可以减少 FLOPs 和内存使用。