matrix multiplication
PulseAugur coverage of matrix multiplication — every cluster mentioning matrix multiplication across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新系统Overseer利用学习式预取解决HPC内存瓶颈
研究人员开发了Overseer,这是一个新颖的系统,旨在解决高性能计算(HPC)工作负载中的性能瓶颈,这些瓶颈日益受到内存层次结构而非原始计算能力的限制。Overseer利用eBPF收集器监控缺页,利用一个基于Transformer的预测器OverNet预测未来的页面地址,并利用一个内核强制器来预加载这些页面。该系统已显示出显著的改进,在特定工作负载上,希尔伯特曲线遍历的运行时间减少了约35%,稠密矩阵乘法的运行时间减少了一个数量级。
-
SPARC方法提高了光子神经网络加速器的精度
研究人员开发了一种名为SPARC的新方法,以提高光子神经网络加速器的推理精度。该方法解决了这些系统中固有的低比特量化和模拟光子噪声造成的限制。SPARC通过识别相似激活向量的组,并以高精度数字计算代表性向量的点积,同时将剩余计算卸载到光子加速器来实现这一点。该技术保留了现有的光子计算管道,并在各种深度神经网络模型中展示了更高的精度。
-
NVIDIA工程师倡导开放式AI;权重空间编程成为新范式
NVIDIA高级产品研究工程师Chris Alexiuk倡导开源AI,强调权重和训练数据的可访问性对于普及智能的重要性。他强调NVIDIA的Nemotron系列开源多模态模型对于开发专用AI代理至关重要。与此同时,“权重空间编程”的概念被探索为AI研究中一种潜在的新范式,表明机器可以直接操纵神经网络权重,而不是依赖传统编码。这与“苦涩的教训”原则相符,即可扩展的方法(如由大规模计算和数据驱动的方法)最终在AI开发中优于手工方法。
-
信息系统审计与矩阵乘法:一场AI信息安全辩论
在信息安全、LLM和AI的背景下,提出了信息系统审计或矩阵乘法哪个将在长期内占主导地位的问题。
-
AI研究探索LLM矩阵乘法进展
近期,矩阵乘法算法的进展正在被探索,特别是在大型语言模型(LLMs)的背景下。这些发展旨在提高对AI至关重要的基础数学运算的效率和性能。
-
Google DeepMind 强调矩阵乘法的速度极限未知
Google DeepMind 正在强调计算复杂性理论中关于矩阵乘法理论上最快速度的持续挑战。这一基本运算支撑着现代计算的许多方面,包括人工智能,但其最优计算极限,用 ω (omega) 表示,仍然是一个悬而未决的问题。
-
量子计算的进步在人工智能和工业领域展现出实际应用
量子计算正从理论讨论走向实际应用,新的研究和商业努力正在展示其在复杂问题解决方面的价值。近期的进展包括一种用于矩阵乘法的量子算法,该算法在渐近意义上优于经典方法,以及实验表明量子处理器可以解决人工智能超级计算机的内存限制。医疗保健、航空航天和金融服务等行业正在探索量子解决方案以实现优化、模拟和加密转型,这表明量子计算正从未来的可能性转向当前的实施。
-
神经网络:令牌ID如何变成矩阵乘法
本文解释了自然语言处理中使用的神经网络的基本计算。它详细说明了单词如何首先被转换为数字令牌ID,然后由网络层进行处理。每一层都执行带有学习权重的矩阵乘法,然后进行ReLU等非线性激活函数,将输入向量转换为新的表示。文章强调了GPU如何加速这些可并行化的矩阵运算,并将其与循环神经网络(RNN)的顺序计算进行对比,解释了Transformer为何能更有效地扩展。
-
DeVIT方法使用增量计算加速视觉Transformer
研究人员开发了DeVIT,一种利用增量计算进行无乘法器矩阵乘法来加速视觉Transformer的新颖方法。该方法旨在降低Transformer模型(如GPT-5、Claude 4.7、OpenAI、Anthropic、Gemini、Llama)的计算复杂度和内存需求,使其更适合在资源受限的设备上部署。通过利用低比特模型权重引入的值局部性,DeVIT在不牺牲性能的情况下提高了效率。
-
开发者优化 Swift 以进行 LLM 训练,目标是 Tflop/s
一位开发者正在探索如何使用 Swift 在 Apple Silicon 上训练大型语言模型 (LLM),重点是优化矩阵乘法性能。这篇初步的文章详细介绍了一个