Per-Layer Embeddings
PulseAugur coverage of Per-Layer Embeddings — every cluster mentioning Per-Layer Embeddings across labs, papers, and developer communities, ranked by signal.
-
新的OPTIC方法实现了LLM嵌入的极端压缩
研究人员开发了一种名为OPTIC(Output-Path-fitted, Token-shared Indexed Codes)的新方法,用于对大型语言模型中的逐层嵌入(PLE)进行极端压缩。该技术实现了显著的压缩率,将Gemma 4 E4B的参数数量减少了约100倍,同时在多个基准测试中保留了97%以上的原始性能。OPTIC在推理过程中也显示出优势,将GPU内存使用量减少了近30%,同时对速度的影响最小。
-
OPTIC方法实现LLM嵌入的极端压缩
研究人员开发了一种新颖的OPTIC方法,用于对大型语言模型中的逐层嵌入进行极端压缩。该技术通过使用令牌共享索引代码和层特定仿射解码器,实现了高达1000倍的压缩,显著降低了内存使用量,同时对模型性能的影响最小。在Gemma 4 E4B的测试中,OPTIC在100倍压缩下保留了原始模型97%以上的性能,并降低了推理期间的GPU内存需求。
-
2890 万参数 LLM 在 8 美元微控制器上运行,使用 Google 的逐层嵌入技术 · 跟踪 4 个来源
一位开发者成功地在 8 美元的 ESP32-S3 微控制器上运行了一个拥有 2890 万参数的语言模型,实现了每秒约 9 个 token 的速度,无需云端依赖。这项边缘 AI 的重大进展利用了 Google 的逐层嵌入技术,允许模型的大部分参数驻留在慢速闪存中,同时将核心处理组件保留在芯片有限的 SRAM 中。该模型在 TinyStories 数据集上进行训练,能够生成简短、连贯的叙事,展示了低成本、离线生成式 AI 应用的新能力。
-
Google releases Gemma 4 12B for efficient laptop AI
Google has released Gemma 4 12B, a new open-source AI model designed to run efficiently on consumer laptops with 16GB of RAM. This 12-billion-parameter model fills a gap in Google's Gemma 4 lineup, offering capabilities…
-
Gemma 3n 在开源生态系统中全面可用!
Google DeepMind 已全面发布 Gemma 3n,这是一款专为设备端应用设计的移动优先多模态模型。这种新架构支持图像、音频、视频和文本输入,以及文本输出,并针对效率进行了优化,提供有效参数为 2B 和 4B 的版本,模仿了传统 2B 和 4B 模型的内存占用。Gemma 3n 引入了 MatFormer 等新组件以提高灵活性,以及 Per Layer Embeddings 以提高内存效率,在多语言、数学、编码和推理方面取得…