32K Context
PulseAugur coverage of 32K Context — every cluster mentioning 32K Context across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
如何在旧硬件上运行本地AI模型
在旧的或性能较低的硬件上本地运行大型语言模型需要仔细选择模型大小和量化，以确保可用性。对于内存有限（约8GB）且没有专用GPU的机器，建议使用较小的模型，例如具有Q4量化的7B到9B参数模型。将上下文窗口大小调整为4096或8192个token，而不是更大的默认值，可以在不显著损失答案质量的情况下显著减少内存使用。对于仅CPU推理，优化线程数至物理核心并使用小批量大小是实现写作和摘要等任务可用速度的关键。
-
IBM Research 发布 Vakra 和 Granite Embedding Multilingual R2 模型
IBM Research 发布了两款新模型：Vakra，用于分析代理推理和工具使用；Granite Embedding Multilingual R2，一个开源的多语言嵌入模型，具有 32K 上下文窗口。Vakra 的内部结构在基准分析中有详细介绍，而 Granite Embedding Multilingual R2 的目标是在 1 亿参数以下实现高质量搜索。
-
IBM 发布开源多语言嵌入模型，支持 32K 上下文
IBM 发布了 Granite Embedding Multilingual R2，这是一个在 Apache 2.0 许可下的开源嵌入模型。该模型支持 32K 上下文窗口，并声称在参数少于 1 亿的情况下实现顶级搜索质量。另外，一篇关于在 PyTorch 中使用 `torch.profiler` 的指南已发布，重点介绍了该框架内的剖析技术。
-
IBM发布开源多语言嵌入模型，支持32K上下文
IBM发布了Granite Embedding Multilingual R2，一个基于Apache 2.0许可的开源嵌入模型。该模型支持32K上下文窗口，目标是以少于一亿个参数实现顶级搜索质量。此次发布还包括一份关于PyTorch性能分析的指南，重点介绍torch.profiler工具。