Matryoshka
PulseAugur coverage of Matryoshka — every cluster mentioning Matryoshka across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的GLASS框架对齐图和语言以进行异常检测
研究人员开发了GLASS，一个用于图级别异常检测的新颖框架，它利用超球体上的图语言对齐来实现鲁棒的跨域可迁移性。该系统通过将图编码器与文本嵌入连接起来，使用多切片软余弦目标，创建了一个统一的表示空间。这种方法将图属性序列化为“图描述符提示”（GraphDP），充当域无关异常评分的文本桥梁。GLASS采用Matryoshka表示法实现多尺度一致性，并使用von Mises-Fisher核密度估计器进行球形多模态评分（SMS），以原则性地…
-
新方法使大型语言模型能够高效压缩上下文
研究人员开发了新的方法来压缩大型语言模型的上下文，使其能够更有效地处理更多信息。来自arXiv的FlexComp框架通过对每个实例的内存预算进行采样，使单个模型能够处理可变的压缩率，其性能优于固定比率的专用模型。LatentPress是另一种方法，它将对话历史和文档编码成连续的内存令牌，冻结的解码器可以直接读取，绕过文本重建，并显著加快推理速度。
-
新的KronSAE设计增强了稀疏自编码器的效率和可解释性
研究人员推出了一种新颖的稀疏自编码器（SAE）设计KronSAE，提高了其效率和可解释性。与将潜在字典视为扁平坐标的传统SAE不同，KronSAE将潜在空间分解为多个头，并使用低维预潜在变量的两两组合。这种方法施加了组合式共激活先验，增强了对相关特征结构的捕获能力，并降低了计算成本。KronSAE在EV-FLOPs等基准测试中表现出竞争力，并提供了更清晰的潜在特征可解释性。
-
Project Arc Rector 通过交叉编码器重排来增强 RAG
Project Arc Rector 堆栈引入了一个专注于嵌入模型和检索增强生成（RAG）重排的新层。这一层强调了双编码器和交叉编码器之间的权衡，并指出交叉编码器（将查询和文档一起处理）尽管计算成本更高，但能提供更高的准确性。该项目还详细介绍了如何有效使用更便宜、可自托管的嵌入模型，如 Nomic Embed 和 Jina v2，并警告了维度不匹配和不当使用前缀等常见陷阱。提出的核心策略是使用高效的双编码器进行广泛检索，然后使用更准确…
-
TESSERA v2 研究揭示地球观测模型的最佳扩展方法
研究人员对像素级地球观测基础模型进行了大规模扩展研究，在 1,024 个 NVIDIA GH200 超级芯片上进行了 395 次训练运行。研究发现，预训练损失是下游性能的糟糕预测指标，这表明将计算资源集中在更大的编码器和更多数据上，而不是更大的投影仪上，更为有效。该团队训练了一系列模型，包括拥有 2100 万个参数的 TESSERA v2-1B-M，其性能优于更大规模的开源和专有模型，并通过 Matryoshka 表示法实现了高效服务。
-
KaLM-Reranker-V1：高效文档重排模型发布
研究人员推出 KaLM-Reranker-V1，这是一种新颖的重排模型，专为大规模检索系统的效率而设计。该模型使用具有 Matryoshka 嵌入池化和交叉注意力的编码器-解码器架构来解耦查询和段落的计算。KaLM-Reranker-V1 有三种尺寸：Nano（0.27B 参数）、Small（1B 参数）和 Large（4B 参数）。在 BEIR、MIRACL 和 LMEB 等基准测试上的实验表明，KaLM-Reranker-V1 取…