PulseAugur
中
实时 06:04:48
实体 central processing unit

central processing unit

PulseAugur coverage of central processing unit — every cluster mentioning central processing unit across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
104
90 天内 341
发布 · 30天
0
90 天内 0
论文 · 30天
34
90 天内 107
层级分布 · 90 天
主题
关系
情绪 · 30 天

26 天有情绪数据

最近 · 第 1/10 页 · 共 200 条
  1. TOOL · CL_368337 ·

    新的CAIMS框架支持跨多个CAM阵列的可扩展内存内搜索

    研究人员开发了CAIMS,一个用于跨多个内容可寻址内存(CAM)阵列进行可扩展内存内搜索的新型框架。该方法解决了将局部搜索结果有效减少为全局top-k结果的挑战,这是现有设计中的一个限制。CAIMS结合了离线和在线参数选择,将局部二进制匹配转换为可比较的全局相似度分数,通过分层减少来提高效率。在3D NAND Flash模型上实现并应用于检索增强生成时,CAIMS在吞吐量和能效方面与CPU基线和先前加速器相比显示出显著改进,同时保持了准确性。

  2. TOOL · CL_367385 ·

    Ollama 工具帮助管理大语言模型的VRAM

    Ollama 工具帮助用户了解运行大语言模型真正需要多少VRAM,因为上下文窗口大小会显著影响内存使用,而不仅仅是模型权重。它提供了 `ollama ps` 等命令来检查上下文分配和 GPU/CPU 卸载状态,允许用户通过不同大小的提示来衡量性能。该工具建议根据实际工作负载需求和可用内存来优化上下文长度,如果需要更长的上下文,则可以比较不同的量化或模型。

  3. TOOL · CL_366247 ·

    KIWI 框架以亚微秒级延迟增强 GPU-CPU 通信

    研究人员开发了 KIWI,这是一个旨在提高现代计算工作负载中 GPU 和 CPU 之间通信效率的新框架。与将 CPU 卸载视为后备方案的现有方法不同,KIWI 将其视为主要的通信路径,实现了亚微秒级延迟和高操作速度。该框架已展示出显著的性能提升,包括在 AMD GPU 上对专家并行模型的通信延迟最多降低 2.3 倍,以及在 vLLM 系统中每输出 token 的时间最多减少 29%。

  4. TOOL · CL_364832 ·

    llama.cpp 为 Vulkan 和 CPU 操作添加 bfloat16 支持

    llama.cpp 项目发布了 b12506 版本,通过为各种操作添加 bfloat16 支持来增强其 Vulkan 后端。此次更新还为 CPU 上的一些操作引入了 bfloat16 支持,包括 scale、clamp、leaky_relu 和 SWIGLU_OAI。此外,该版本还包括对 SYCL 的修复,并恢复了 CUDA 的操作顺序。

  5. TOOL · CL_364130 ·

    新AI数据中心调度规则降低成本和计算时间

    研究人员开发了一种新颖的无求解器在线优化规则,用于AI数据中心的任务调度。该方法旨在通过在任务到达时将其分配到最佳开始时间段来降低能源成本,将灵活任务转移到较低价格的时间段,同时确保高优先级任务按计划进行。使用A100 GPU跟踪进行的模拟表明,该规则有效地在容量限制内管理GPU和CPU利用率,并与传统的多时间尺度优化基准相比显著减少了计算时间。

  6. TOOL · CL_363705 ·

    AI安全专家在笔记本CPU上训练语言模型,揭示安全见解

    一位AI安全专业人士使用Andrej Karpathy的llama2.c实现,在个人笔记本CPU上训练了一个语言模型,以更好地理解AI安全漏洞。这种亲身实践的方法揭示了分词、模型权重和Transformer架构如何构成攻击面的见解。实验强调了实际安全问题,例如使用格式错误的输入进行分词器技巧,以及加载不受信任的模型权重(尤其通过Python的pickle等格式)的风险。

  7. TOOL · CL_363216 ·

    柔软表面会阻塞气流并导致过热,从而损坏您的笔记本电脑

    在床或沙发等柔软表面上使用笔记本电脑会导致过热和潜在损坏。笔记本电脑的紧凑设计通常将通风槽放在底部,这些通风槽可能会被毛绒材料堵塞。这种堵塞会限制气流,导致 CPU 加热,风扇过载,并可能损坏电池。为防止这种情况,建议在坚硬、平坦的表面上使用笔记本电脑或使用散热垫。

  8. TOOL · CL_362772 ·

    LLM的RAM需求远超典型工作负载;70B模型需要约45GB

    在虚拟专用服务器(VPS)上本地运行大型语言模型(LLM)比典型应用程序需要更多的RAM,一个70B参数的模型大约需要40-45 GB。估算LLM RAM需求的通用公式是参数乘以每权重位数,除以八,再加上上下文窗口和运行时的开销。对于非LLM工作负载,1-4 GB的RAM通常就足够了,对于使用数据库或Docker的服务,2 GB通常是默认值。监控可用RAM并检查内存不足(OOM)杀手事件对于正确调整VPS大小至关重要,而不是凭猜测过度配置。

  9. RESEARCH · CL_363454 ·

    新的视觉系统在机械蓝莓采摘过程中估算蓝莓成熟度 · 已追踪 2 个来源

    研究人员开发了一种事件触发式机器视觉系统,用于在机械蓝莓采摘过程中估算蓝莓的成熟度。该系统分析在搬运箱子时捕获的 RGB 图像,使用三类检测器来识别成熟、半成熟和未成熟的浆果。该系统在仅使用 CPU 的工业计算机上运行,在田间测试中实现了 90.22% 的成熟果实比例估算,平均绝对误差为 0.935 个百分点,与手动验证具有很强的相关性(r=0.967)。该技术为操作员决策提供实时收获选择性数据,并可能为机械采摘机启用反馈控制。

  10. TOOL · CL_361705 ·

    Gemma.c 项目在一个 C 文件中实现了 Gemma 模型的多模态推理

    一个名为 Gemma.c 的新项目已被开发出来,它在一个 C 文件中提供了 Google Gemma 模型(1、2 和 3)的从头开始的推理引擎。该引擎支持多模态推理,允许用户直接将图像输入提示。它专为仅 CPU 执行而设计,并以效率为目标,INT8 量化在解码速度上比 fp32 快 3.5 倍。

  11. TOOL · CL_360822 ·

    在 Android 上运行本地 LLM 聊天:应用、Termux 及预期

    现在可以在 Android 设备上本地运行大型语言模型 (LLM),无需 root 权限或高端硬件。用户可以选择现成的配套应用,它们提供简单的界面来下载和聊天 Gemma、Llama、Phi 或 Mistral AI 等模型。或者,更有技术能力的用户可以利用 Termux 和 llama.cpp 来更精细地控制模型参数和文件路径。一些应用程序还提供混合方法,在没有互联网连接时回退到本地模型,确保隐私和离线功能。

  12. TOOL · CL_359363 ·

    笔记本电脑风扇因后台任务和电源设置意外启动

    笔记本电脑风扇可能因各种因素意外启动,即使在未主动运行要求高的应用程序时也是如此。后台进程,如 Windows 更新、文件索引和启动应用程序,会消耗 CPU 资源,产生热量并触发风扇。此外,优先考虑性能而非能源效率的电源设置可能导致风扇活动增加。环境因素,如较高的环境温度,也可能导致风扇更频繁地启动。

  13. TOOL · CL_358689 ·

    逐张量化可在现有硬件上运行更大的大型语言模型

    逐张量化通过降低模型权重的比特宽度,从而减少内存和带宽需求,使得大型语言模型可以在现有硬件上运行。该技术选择性地量化模型的不同部分,在保留敏感层精度的同时,积极压缩不太关键的层。其结果是推理速度更快,并且能够运行原本因硬件限制而无法运行的大型模型,同时会跟踪各种格式的性能和质量指标。

  14. TOOL · CL_358359 ·

    llama.cpp 修复 qwen2vl 模型输出错误

    llama.cpp 项目发布了一个更新 (b12385),解决了 qwen2vl 模型的一个问题。此前,由于未应用 FFN 权重缩放,该模型产生了不正确的输出,导致在 CUDA 上困惑度很高,在 CPU 上出现 NaN。此修复确保了将缩放正确传递给 build_ffn,类似于 Qwen2 模型处理它们的方式。

  15. TOOL · CL_358349 ·

    开源 tiny-voca TTS 模型在 CPU 上运行速度是实时速度的 70 倍

    一个名为 tiny-voca 的全新、完全开源的文本转语音模型已发布。该模型拥有 450 万个参数,体积小至 18MB,在标准 CPU 上的运行速度大约是实时速度的 70 倍。它提供两种不同的声音,设计上可以直接在浏览器中运行,或通过 PyTorch 和 ONNX 运行,其训练在单个 RTX 4090 上耗时不到 8 小时。

  16. TOOL · CL_358014 ·

    GGML 和 llama.cpp 发布 v1.0,明确本地 LLM 推理中的角色

    GGML 和 llama.cpp 项目均已发布 1.0.0 版本,标志着各自库的重要里程碑。GGML 是一个张量库,专注于底层操作和后端支持,其 1.0 版本包括 API 剪枝、新的截断功能以及跨各种硬件加速器的后端改进。Llama.cpp 是一个基于 GGML 构建的推理应用程序,提供用于运行本地语言模型的高级工具包,包括一个兼容 OpenAI 的服务器。其 1.0 版本更新了模型架构、多模态能力和安全修复,同时更新了其 GGML 依赖项。

  17. TOOL · CL_357584 ·

    新的 GPU-CPU 混合框架推进 MaxSAT 求解

    研究人员开发了一种新颖的 GPU-CPU 混合框架,以增强加权部分 MaxSAT (WPMAX-SAT) 求解。该方法使用可微分 GPU 优化来直接优化实例特定的参数,而无需训练数据集,从而指导 CPU 求解器。一项关键创新是分层可微分损失,它在优化软子句之前优先处理硬约束,确保符合可行性要求。该框架通过部分指导或相位初始化将高置信度分配从 GPU 转移到 CPU,从而在 MSE 2024 基准测试中提高了求解分数。

  18. TOOL · CL_357419 ·

    LLM VRAM 解析:KV 缓存是隐藏的罪魁祸首

    在 GPU 上本地运行大型语言模型可能因 VRAM 限制而面临挑战,即使模型的文件大小似乎适合可用内存。KV 缓存存储生成 token 的中间计算结果,会消耗大量 VRAM,尤其是在处理更长上下文时。这可能导致模型部分卸载到 CPU,从而急剧减慢推理速度。使用 `nvidia-smi` 等工具监控 GPU 使用情况并检查 Ollama 的进程状态,有助于诊断模型是否完全在 GPU 上运行,或者是否发生了 CPU 卸载。

  19. TOOL · CL_356660 ·

    100美元以下的经济实惠PC升级可带来显著改进

    尽管硬件成本不断上涨,但以100美元以下的预算升级个人电脑仍然可行,可以进行多项组件改进。关键升级包括通过Wi-Fi卡或USB-C端口增强连接性,通过RGB风扇或LCD屏幕进行美学增强,以及通过风冷或一体式水冷散热器改进散热解决方案。Noctua、TP-Link和Corsair等知名品牌在此预算内提供优质组件,专注于提升性能和改善散热管理。

  20. TOOL · CL_356087 ·

    Ollama 设置通过防止 CPU 回退来提升本地 LLM 性能

    本文提供了一份优化 Ollama 以在本地执行 LLM 的指南,特别解决了模型尽管拥有强大的 GPU 却仍会静默回退到 CPU 使用的问题。文章解释说,问题通常源于 KV 缓存超过可用 VRAM,而不是模型权重本身。该指南详细介绍了四个关键设置:启用 `OLLAMA_FLASH_ATTENTION`,使用 `OLLAMA_KV_CACHE_TYPE=q8_0` 量化 KV 缓存,使用 `OLLAMA_NUM_PARALLEL=1` 限…