一款新的多模态大型语言模型 Agnes-3.0-Flash 已发布，拥有 330 亿参数和高达 262,144 个 token 的上下文窗口。该模型采用混合注意力架构，结合了 delta-rule 循环层和标准全局注意力层来处理其庞大的上下文。该模型还支持可调节的推理能力、工具调用，并能理解文本、图像和视频输入。 AI
影响 引入了一种新颖的混合注意力架构，可能影响未来处理长上下文的 LLM 设计。
排序理由 发布了一个具有新颖架构细节的开源模型。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
