rwkv
PulseAugur coverage of rwkv — every cluster mentioning rwkv across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
MG-RWKV框架通过高效处理增强时间伪造定位
研究人员推出了一种新颖的MG-RWKV框架，用于音视频内容中的时间伪造定位。该方法利用RWKV架构以线性复杂度高效处理完整序列，解决了现有CNN和Transformer模型的局限性。关键创新包括用于时间上下文的双向RWKV、用于自适应粒度选择的多粒度专家混合（MG-MoE）以及用于减少误报的跨粒度一致性（CGC）。在多个数据集上的实验表明，MG-RWKV以降低的计算成本实现了最先进的结果。
-
新的ASSCG系统优化了LLM在自动驾驶规划中的使用
研究人员开发了一个名为ASSCG的新系统，用于优化大型语言模型（LLM）在自动驾驶规划中的使用。ASSCG充当守门员，做出帧级决策来刷新、重用或抑制慢速LLM的指导，从而降低计算成本并提高效率。当应用于现有的快慢规划架构时，ASSCG在性能指标和推理延迟降低方面均表现出显著的改进。
-
AI00 RWKV 服务器提供开源推理及 Vulkan 加速
AI00 RWKV 服务器是一个开源的推理 API 服务器，专为运行 RWKV 语言模型而设计。它支持 Vulkan 加速，并与 OpenAI API 兼容。该工具旨在为部署和交互 RWKV 模型提供一个高效的平台。
-
新的P-RWKV模块将RWKV适配于3D点云分析
研究人员开发了一种名为P-RWKV的新方法，用于适配RWKV模型处理3D点云数据。该方法增强了RWKV捕获局部几何结构和空间依赖性的能力，这对于理解3D环境至关重要。P-RWKV模块集成了局部感知扩展和空间上下文增强的组件，展示了其在各种架构和任务中的灵活性以及效率的提升。
-
机器人通过新的KAN-We-Flow和EFM策略提高效率
研究人员开发了KAN-We-Flow，一种新颖的机器人操作策略，利用RWKV和KAN显著减小模型尺寸和推理延迟，同时保持或提高成功率。该方法在Adroit和Meta-World等基准测试中取得了最先进的性能，参数减少了86.8%，并具备实时控制能力。此外，引入了一个名为EFM-10的新基准，通过专注于探索性和专注性操作策略来解决人形双臂操作中的挑战，特别是视觉遮挡问题。该基准以及BAPData数据集和BAP策略旨在使机器人能够主动获取…
-
SubQ推出具有亚二次方注意力的12M上下文LLM
SubQ推出了一款新的前沿LLM，SubQ，它具有1200万个token的上下文窗口和一个新颖的亚二次方注意力机制。这种方法旨在克服传统二次方注意力的计算限制，后者在上下文长度加倍时计算量会增加四倍。SubQ的学习稀疏注意力在推理时动态选择相关的token对，与全注意力模型相比，成本显著降低。
-
Eugene Yan 分享举办每周 AI 论文俱乐部以建立学习社区的指南
Eugene Yan 详细介绍了其成功的每周论文俱乐部，该俱乐部已运行 18 个月，讨论了至少 80 篇与 AI 相关的论文。俱乐部专注于机器学习中的基础概念、模型、训练和推理技术。Yan 为他人建立类似的学习社区提供了实用指南，强调了持续的日程安排、预读和引导式讨论，以促进技术理解和建立专业人脉。
-
RWKV 项目复兴 RNN，挑战 Transformer 在大语言模型中的主导地位
RWKV（Receptance Weighted Key Value）项目引入了一种新颖的架构，它复兴了循环神经网络（RNN），同时融入了通常在 Transformer 中发现的优势。这种方法旨在克服传统 Transformer 的扩展限制，尤其是在训练和推理方面，同时在推理基准测试中保持具有竞争力的性能。RWKV 项目的特点是其分布式、国际化且主要由志愿者驱动的社区，这与早期 EleutherAI 的努力有相似之处。