PCI Express
PulseAugur coverage of PCI Express — every cluster mentioning PCI Express across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MacBook Air 通过 Linux 虚拟机获得桌面级 GPU 以进行 AI 任务
最近的一个项目探索了通过 Thunderbolt eGPU 设置将高端 NVIDIA RTX 5090 GPU 连接到 M4 MacBook Air。虽然 macOS 缺乏 Apple Silicon 上 NVIDIA GPU 的原生驱动程序，但作者成功地将 GPU 直通给 Mac 上运行的 Linux 虚拟机。这种方法利用了 Linux 对 NVIDIA 显卡和 Thunderbolt 隧道技术的支持，使 GPU 能够用于 AI 推…
-
改装的Nvidia V100服务器GPU以200美元高效运行LLM
一位YouTube博主成功地将最初为专用插槽设计的Nvidia Tesla V100服务器GPU改装成适用于消费级主板的标准PCIe卡。这次改装成本约为200美元，使得这款老一代Turing架构的GPU能够高效运行大型语言模型。在测试中，V100在AI推理的每秒令牌数方面优于RTX 3060和RX 7800 XT等新卡，并在功率受限时展现出更高的能效。
-
专有GPU转PCIe适配器可实现更便宜的本地LLM
一篇Hackaday的最新文章详细介绍了一种将专有总线GPU集成到标准PCIe插槽的方法，使其可用于本地LLM部署。这种方法为有兴趣自行托管生成式AI模型的个人提供了更经济实惠的选择。该技术涉及改造专用硬件以绕过典型的兼容性问题，从而降低了AI爱好者的入门门槛。
-
RoundPipe 实现了在消费级 GPU 上高效进行 LLM 微调
研究人员开发了 RoundPipe，这是一种新的流水线调度方法，旨在提高在消费级 GPU 上微调大型语言模型的效率。该方法通过以循环方式动态调度设备上的计算阶段来解决现有方法的局限性，从而有效地消除流水线气泡并提高吞吐量。评估显示，与当前基线相比，速度有了显著提升，使得在单台服务器上微调非常大的模型成为可能。RoundPipe 也作为一个开源库提供。
-
英韧科技吴资宁谈AI SSD如何将闲置算力转化为有效算力。
在AI时代，存储正从单纯的数据载体向影响算力的关键环节转变。英韧科技董事长吴资宁指出，AI SSD通过优化数据组织和调度，是实现闲置算力向有效算力转化的关键。公司正开发差异化的AI SSD解决方案，包括面向训练的Dongting-N3、面向容量敏感场景的N3Q以及面向低延迟推理的N3X，以满足AI工作负载的多样化需求。
-
新的架构和框架针对长上下文的LLM服务瓶颈
研究人员开发了新的架构和技术，以解决服务具有长上下文的大型语言模型（LLMs）时日益增长的延迟和能耗挑战。一种名为AMMA的方法提出了一种以内存为中心的多芯片设计，用HBM-PNM立方体取代GPU计算芯片，以提高内存带宽，与NVIDIA H100相比，在延迟和能耗方面实现了显著降低。另一个框架SPIN将稀疏注意力算法与分层KV存储相结合，通过优化GPU和CPU内存之间的KV缓存管理来提高吞吐量并减少首次令牌生成时间。此外，LayerB…