实体
Granite-4.0-H-Small
Granite-4.0-H-Small
PulseAugur coverage of Granite-4.0-H-Small — every cluster mentioning Granite-4.0-H-Small across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM 上下文基准测试：预填充速度和 KV 缓存对代理最重要
对 13 种不同的大型语言模型在 65K 至 128K 令牌的上下文长度下进行的基准测试显示，对于代理工作负载而言，提示处理（预填充）速度是最关键的因素，而不是令牌生成速度。使用 llama.cpp 在 RX 7900 XT GPU 上进行的测试表明，KV 缓存配置和模型架构（特别是 MoE 模型）显著影响了性能。结果表明，优化预填充效率是需要广泛上下文处理的应用程序的关键。
-
IBM 新推出的 8B Granite 4.1 模型性能超越了旧款 32B MoE 版本
IBM 发布了 Granite 4.1，这是一个专为企业设计的开源语言模型家族，包含三种尺寸（3B、8B 和 30B 参数）。值得注意的是，在 ArenaHard 和 GSM8K 等多项基准测试中，8B 密集模型表现出的性能与之前的 32B MoE 模型相当甚至更优。这一改进归功于 IBM 对数据质量的关注以及涉及 15 万亿 token 和迭代数据混合调整的复杂多阶段训练过程。