实体 KimiForCausalLM

KimiForCausalLM

PulseAugur coverage of KimiForCausalLM — every cluster mentioning KimiForCausalLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

SIGNIFICANT · CL_164452 · Jul 26 · 19:51

Moonshot AI 发布 Kimi-K3 模型，优化长上下文处理

Moonshot AI 已在 Hugging Face 上发布 Kimi-K3 模型权重，该模型采用了针对长上下文推理的架构优化。模型采用了修改后的 Transformer 架构，结合了 Grouped Query Attention (GQA) 和类似 vLLM 的分页注意力技术，以高效管理其 KV 缓存，支持长达一百万个 token 的序列。关键配置包括用于位置嵌入稳定性的高 `rope_theta` 值，以及为生产部署而设计的抗…