rwkv
PulseAugur coverage of rwkv — every cluster mentioning rwkv across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
MusicRWKV框架为音乐AI提供比Transformer更高效的替代方案
研究人员开发了MusicRWKV,一个利用RWKV架构而非传统Transformer进行音乐表示学习的新框架。该方法旨在减少处理长音乐序列相关的计算和内存开销。MusicRWKV通过自监督学习整合波形、频谱图和元数据信息,并包含一个用于提高效率的可逆压缩模块和一个用于模态感知学习的基于FiLM的条件策略。该框架还探索了使用Soft ROSA进行可微分检索,在改进各种音乐信息检索基准的性能方面显示出潜力。
-
新型神经图像压缩模型IE-PFA实现SOTA性能
研究人员开发了一种新颖的神经图像压缩模型IE-PFA,它整合了内部图像先验和源自自然图像常见模式的外部先验。该模型利用基于RWKV的模块高效融合这些先验,并采用仅训练机制进行对齐,实现了最先进的率失真性能。IE-PFA支持64个质量级别的可变比特率编码,并且与现有方法相比,编码和解码速度显著提高,平均BD-Rate比VTM-22.0-Intra节省21.65%。
-
推荐使用DistilGPT-2来改进TinyGPT项目
作者讨论了各种适合改进先前使用名为TinyGPT的小型定制训练Transformer模型项目的LLM。他们评估了LSTM/GRU、DistilGPT-2/GPT-2、现代小型LLM(SmolLM、Qwen、Phi风格)以及Mamba/RWKV等新架构。作者最终选择DistilGPT-2,因为它具有自回归生成能力并在大型数据集上进行了预训练,与在有限数据上从头开始训练的模型相比,质量有了显著提升。其他可供比较的选项包括Qwen2.5-0…
-
新型 EdgeRock-4B 模型将 KV Cache 使用量削减 99%,吞吐量提升 6 倍
香港科技大学和卡内基梅隆大学的研究人员与燕山科技合作,开发并开源了一个名为 EdgeRock-4B 的新模型。该模型将 KV Cache 的使用量显著减少了 99.1%,能够在不增加内存消耗的情况下实现更长的上下文窗口。与基础模型 Qwen3.5-4B 相比,EdgeRock-4B 的吞吐量提高了 6.42 倍,同时保持了强大的推理能力。这项创新在于一种名为 Rock Memory Anchors (RMA) 的新型内存机制,该机制选…
-
后Transformer AI架构图解:Mamba、RWKV等
一位Reddit用户汇编了对后Transformer AI架构的全面比较,详细介绍了超越标准Transformer模型的进步。该分析重点介绍了Mamba、RWKV、xLSTM和Titans等各种方法,侧重于在实际计算约束下改进推理、记忆和适应性。该用户的工作包括比较核心机制、注意力变体和测试时记忆能力的表格,表明未来在有限资源下效率和智能至关重要。
-
脉冲语言模型显示出与Transformer相似的计算最优缩放
一篇新论文介绍了首个面向脉冲语言模型(SLMs)的“Chinchilla风格”IsoFLOP缩放研究,使用了带有RWKV骨干的SpikeGPT系列。研究发现,SLMs的计算最优前沿与计算的0.56次方成正比,与密集Transformer相似,表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本,并指出随着计算预算的增加,骨干成本固定而脉冲成本降低。
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络(SNN),旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆,能够从头开始进行大规模预训练,在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律,发现参数与数据之间的权衡与Transformer相似,但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…
-
新的CRWKV框架提升水下图像质量
研究人员开发了一个名为CRWKV的新框架,用于增强水下图像,解决了颜色失真和对比度下降等挑战。该框架采用了一种感知聚类的RWKV(CRWKV)方法,该方法根据语义特征相似性而不是固定的空间顺序来调整循环传播路径。为了保持局部连续性,它还结合了暗响应调制的局部传播(DMLP)来补偿聚合前的局部结构线索。实验表明,CRWKV在水下图像增强的量化性能和视觉质量方面取得了最先进的成果。
-
新的DREMnet框架增强了电磁勘探的去噪能力
研究人员开发了DREMnet,一个新颖的可解释框架,用于对通过半航空瞬变电磁(SATEM)勘探获取的信号进行去噪。该方法通过将数据分解为内容和上下文因素来解决现有深度学习方法的局限性,从而改善信号与噪声的分离。DREMnet利用RWKV架构和上下文WKV机制进行双向信号建模,并采用覆盖嵌入技术来保留局部感知,在准确反映理论信号和识别地下电结构方面优于当前方法。
-
RWKV 模型融合了 RNN 的效率和 Transformer 的性能
RWKV 模型因其独特的架构而备受关注,它将大型语言模型的性能优势与 Transformer 中常见的并行处理能力相结合。这种方法使 RWKV 在保留循环神经网络的顺序处理优势的同时,实现了强大的 LLM 性能。
-
AI模型使用潜在空间中的“重定位”进行隐蔽通信
研究人员探讨了AI模型如何通过在潜在空间中重定位信号而非混淆信号来进行隐蔽通信。在实验中,使用基于RWKV架构的脉冲神经网络SpikeGPT,发送者(Alice)能够移动潜在空间中的消息簇。这种刚体平移形式的移动,即使简单的线性探针仍能重建消息,也导致了监控者的检测准确率骤降。这表明AI安全监控可能需要考虑表示的几何偏移,而不仅仅是信号的复杂性。
-
MG-RWKV框架通过高效处理增强时间伪造定位
研究人员推出了一种新颖的MG-RWKV框架,用于音视频内容中的时间伪造定位。该方法利用RWKV架构以线性复杂度高效处理完整序列,解决了现有CNN和Transformer模型的局限性。关键创新包括用于时间上下文的双向RWKV、用于自适应粒度选择的多粒度专家混合(MG-MoE)以及用于减少误报的跨粒度一致性(CGC)。在多个数据集上的实验表明,MG-RWKV以降低的计算成本实现了最先进的结果。
-
新的ASSCG系统优化了LLM在自动驾驶规划中的使用
研究人员开发了一个名为ASSCG的新系统,用于优化大型语言模型(LLM)在自动驾驶规划中的使用。ASSCG充当守门员,做出帧级决策来刷新、重用或抑制慢速LLM的指导,从而降低计算成本并提高效率。当应用于现有的快慢规划架构时,ASSCG在性能指标和推理延迟降低方面均表现出显著的改进。
-
AI00 RWKV 服务器提供开源推理及 Vulkan 加速
AI00 RWKV 服务器是一个开源的推理 API 服务器,专为运行 RWKV 语言模型而设计。它支持 Vulkan 加速,并与 OpenAI API 兼容。该工具旨在为部署和交互 RWKV 模型提供一个高效的平台。
-
新的P-RWKV模块将RWKV适配于3D点云分析
研究人员开发了一种名为P-RWKV的新方法,用于适配RWKV模型处理3D点云数据。该方法增强了RWKV捕获局部几何结构和空间依赖性的能力,这对于理解3D环境至关重要。P-RWKV模块集成了局部感知扩展和空间上下文增强的组件,展示了其在各种架构和任务中的灵活性以及效率的提升。
-
机器人通过新的KAN-We-Flow和EFM策略提高效率
研究人员开发了KAN-We-Flow,一种新颖的机器人操作策略,利用RWKV和KAN显著减小模型尺寸和推理延迟,同时保持或提高成功率。该方法在Adroit和Meta-World等基准测试中取得了最先进的性能,参数减少了86.8%,并具备实时控制能力。此外,引入了一个名为EFM-10的新基准,通过专注于探索性和专注性操作策略来解决人形双臂操作中的挑战,特别是视觉遮挡问题。该基准以及BAPData数据集和BAP策略旨在使机器人能够主动获取…
-
SubQ推出具有亚二次方注意力的12M上下文LLM
SubQ推出了一款新的前沿LLM,SubQ,它具有1200万个token的上下文窗口和一个新颖的亚二次方注意力机制。这种方法旨在克服传统二次方注意力的计算限制,后者在上下文长度加倍时计算量会增加四倍。SubQ的学习稀疏注意力在推理时动态选择相关的token对,与全注意力模型相比,成本显著降低。
-
Latent Space Podcast 在 NeurIPS 上回顾 2024 年 AI 趋势 · 已追踪 5 个来源
Latent Space Podcast 在 NeurIPS 的系列现场节目中,回顾了 2024 年的关键 AI 发展。讨论的主题包括合成数据和小型模型、后 Transformer 架构(如状态空间模型和 RWKV)的进展、开放模型格局、AI 视觉的进步以及 AI 初创公司的动态。这些讨论提供了对人工智能领域今年重要趋势和创新的回顾。
-
指南为成功举办AI论文俱乐部提供了蓝图
Eugene Yan 的指南详细介绍了如何建立和维护一个每周论文俱乐部,该指南借鉴了 Latent Space Paper Club 18个月的举办经验。指南强调了持续安排时间、预读论文以最大化讨论价值以及有效引导的重要性。它还涵盖了论文选择,指出虽然俱乐部专注于语言建模,但也会扩展到视觉和音频等相关领域,并提出了活动管理和举办的方法。
-
Eugene Yan 分享举办每周 AI 论文俱乐部以建立学习社区的指南
Eugene Yan 详细介绍了其成功的每周论文俱乐部,该俱乐部已运行 18 个月,讨论了至少 80 篇与 AI 相关的论文。俱乐部专注于机器学习中的基础概念、模型、训练和推理技术。Yan 为他人建立类似的学习社区提供了实用指南,强调了持续的日程安排、预读和引导式讨论,以促进技术理解和建立专业人脉。