Decode
PulseAugur coverage of Decode — every cluster mentioning Decode across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的DECODE框架改进了AI生成图像的检测
研究人员推出了一种名为DECODE的新框架，旨在改进AI生成图像的检测。该方法解决了持续学习场景中特征表示和决策边界都会随时间退化的双重退化问题。DECODE采用子空间多样性正则化（SDR）来保持多样化的取证表示，并采用闭式决策对齐（CDA）在无需手动调整的情况下重新校准分类头。实验表明，DECODE在遗忘极少的情况下实现了高精度，并且对未见过的生成器具有良好的泛化能力。
-
Infinigence 发布 PDD 架构，降低 LLM 推理时延与成本
Infinigence 发布了一种名为 PDD 的新型跨集群异构推理架构，旨在提高大型模型推理的效率并降低成本。该架构将传统的 Prefill-Decode (PD) 分离分解为三阶段的 Prefill-RelayDecode-MainDecode (P-RLD-MD) 系统。通过利用本地的 RelayDecode 实例，PDD 有效地掩盖了通过广域网传输 KV Cache 所带来的时延，据称首次 Token 时延降低了 51.5%，…
-
LLM推理成本由内存带宽驱动，而非计算
大型语言模型推理的主要成本驱动因素不是计算能力（FLOPs），而是内存带宽，尤其是在处理自回归解码过程中的KV缓存时。仅优化计算利用率会导致过度支出，因为与KV缓存所需的数据移动相比，每个token的实际算术运算非常少。需要进行架构更改，例如将预填充与解码分离，以及调整批处理大小和上下文大小，将内存带宽视为稀缺资源来有效管理成本。
-
新的DECODE方法解决了多模态大语言模型中的知识编辑失败问题
研究人员发现多模态大语言模型（MLLMs）在知识编辑方面存在一个显著问题，称为“编辑解耦失败”。当对MLLM的知识进行更新后，在配对的多模态输入（如文本和图像）下更新有效，但在仅有单模态输入（仅文本或仅图像）时，模型会恢复到旧信息。这个问题源于知识分布在模态特定的通路中，而不是统一的。为了解决这个问题，提出了一种名为DECODE的新方法，旨在解耦和定位这些模态特定的神经元组，以便在不同输入类型下进行更具针对性和有效的知识更新。