实体
A100 80GB
A100 80GB
PulseAugur coverage of A100 80GB — every cluster mentioning A100 80GB across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
STAGE框架为分布式工作负载合成大语言模型执行图 · 跟踪2个来源
一个名为STAGE的新框架已被开发出来，用于合成大语言模型（LLMs）和专家混合模型（MoEs）的高保真执行图。该框架旨在通过建模各种并行化策略来优化分布式人工智能工作负载，从而能够在无需直接访问大规模基础设施的情况下探索不同的模型架构和系统配置。STAGE通过为超过128,000个GPU生成跟踪记录，证明了其可扩展性，并在计算、内存和通信方面保持了张量级别的准确性。
-
新的HiLo-Token方法将AI图像编辑速度提高了3倍以上
研究人员开发了HiLo-Token，这是一个新颖的框架，旨在显著加快扩散Transformer（DiTs）执行的图像编辑任务的速度。该方法自适应地分配计算资源，优先处理编辑区域中的高频细节，并对不太关键的区域使用压缩表示。实验表明，HiLo-Token在A100-80GB GPU上可以实现高达3.13倍的速度提升，适用于各种掩码比例，且不影响图像质量。
-
GPU显存带宽对本地LLM速度至关重要，超越VRAM
对于在本地运行大型语言模型而言，GPU显存带宽比VRAM容量更为关键。更高的带宽使GPU能够更快地处理数据，防止其因等待VRAM信息而成为瓶颈。这种差异可以显著提高令牌生成速度，一些显卡仅凭带宽差异就能实现双倍性能，即使计算规格相似。