Yarn
PulseAugur coverage of Yarn — every cluster mentioning Yarn across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
掌握实体解析以获得纯净的企业知识图谱
本文讨论了企业知识图谱中数据碎片化的关键挑战，在这些碎片化中，同一个现实世界实体可以在不同系统中以不同的名称表示。它强调了诸如实体解析、链接预测和图去重等确定性方法对于确保 AI 应用程序的数据完整性的必要性。作者提出了一种基于 TypeScript 的方法，并将其与概率性 LLM 进行对比，同时强调使用 Jaro-Winkler 等字符串相似度指标进行准确的实体匹配。
-
NInfer 分叉将 LLM 上下文提升至 555k，采用 4 位 KV 缓存
NInfer 项目的一个分叉已被开发出来，为大型语言模型的上下文长度和内存管理带来了显著的改进。该分叉采用自定义的 4 位 KV 缓存，可在不损失质量的情况下将 VRAM 使用量减少 45%，并通过 LongBench 和 AIME 等基准测试得到验证。它还将 Qwen 等模型的上下文窗口扩展到 555k token 以上，并预计在高 端 GPU 上可达 800 万 token。该项目增强了多级前缀重用，并实现了一个强大的主机 KV …
-
AI代码审查器错过关键错误，专注于小问题
一个AI工具被用来审查一个React代码库，但它专注于小问题而忽略了更严重的问题。该AI在识别风格不一致和轻微的代码异味方面很彻底，但未能检测到关键错误或架构缺陷。这突显了AI代码审查能力的当前局限性，工具可能无法有效地区分表面问题和实质性的代码质量问题。
-
RIBOSPAN模型推动长上下文RNA分析和设计
研究人员推出RIBOSPAN，这是一个拥有16.1亿参数的双向基础模型，专为长上下文RNA建模而设计。该模型原生支持长达10,240个核苷酸的上下文长度，能够对完整的RNA转录本进行高分辨率分析。RIBOSPAN在学习RNA表示方面展现了最先进的性能，并在预测生物学特性和建模突变适应性方面取得了顶级结果，尤其是在较长的RNA序列上。此外，基于RIBOSPAN骨干的扩散框架促进了mRNA的生成和重新设计，包括蛋白质保留的密码子优化。
-
阿里巴巴推出 Qwen3.8-Flash 模型，获广泛合作伙伴支持
阿里巴巴的 Qwen 推出了其 Qwen3.8-Flash 模型，可在 Qwen Cloud 上使用，API 使用价格具有竞争力。该模型也可通过 OpenRouter 访问，支持编码助手和代理工作流等各种应用。此外，Qwen3.8-Flash-Next 已获得 SGLang 和 vLLM 等关键合作伙伴的零日支持，并已在 NVIDIA 和 AMD 硬件上确认兼容。这种新架构旨在实现极致的成本效益，也可通过 Ollama 获取。
-
阿里巴巴 Qwen3.8-27B 采用混合注意力技术，实现高效长上下文处理
阿里巴巴通义实验室发布了 Qwen3.8-27B，这是一款拥有 277.8 亿参数的多模态模型，采用了新颖的混合注意力架构。该设计通过一种名为 Gated DeltaNet 的线性注意力机制，策略性地将每四层注意力中的三层替换掉，仅保留关键层使用全注意力。这种方法显著降低了内存压力和计算成本，使模型能够处理 262,144 个 token 的原生上下文窗口，并通过 YaRN 缩放可扩展至约一百万个 token，同时还能容纳在一块高端消…
-
阿里巴巴的 Qwen3.8-27B 集成视觉与语言能力，可与更大模型媲美
阿里巴巴的 Qwen 团队发布了 Qwen3.8-27B，这是一款集成了视觉和语言能力的新型开放权重模型。该模型拥有 262,144 个 token 的超长上下文窗口，可扩展至 100 万，并具备灵活的思维控制能力。基准测试表明，Qwen3.8-27B 在编码和智能体任务上超越了其前代模型，甚至可以与更大的闭源模型相媲美，同时在多模态推理方面也表现出色。
-
RoPE维度无法旋转，破坏了LLM中的上下文扩展
一项技术分析显示，在以2k token窗口训练的模型中，32个RoPE维度中的11个从未完成完整旋转，这导致在推断超出训练上下文长度时出现算术错误和无意义的输出。这个问题源于这些维度的波长比训练窗口长，导致它们产生未见的角度。文章讨论了三种方法——位置插值、NTK感知缩放和YaRN——作为潜在的解决方案，每种方法在局部分辨率和训练要求方面都有权衡。然而，这些方法主要解决了模型表示位置的能力，而不是其在扩展上下文中有效利用信息的能力。
-
阿里巴巴发布Qwen3.8开源模型，在排行榜上获得关注
阿里巴巴的Qwen发布了其Qwen3.8系列开源模型，包括Qwen3.8-27B和Qwen3.8-2.4T-A95B。Qwen3.8-27B模型拥有262K的原生上下文窗口，通过YaRN可扩展至1M token，并在Hugging Face等平台上获得了显著关注，其量化版本下载量达数百万次。此次发布使Qwen成为本地部署和代理开发的有力竞争选项，其中Qwen3.8-Max在前端代码排行榜上显著优于Claude Fable-5。
-
Muse Glimmer 30B 模型上下文扩展到 100 万个 token，检索完美。
一位用户已成功将 Muse Glimmer 30B 模型的上下文窗口扩展到一百万个 token，大大超过了其训练的 131K 上下文长度。这是使用 YaRN 上下文扩展方法实现的，并通过了“海中捞针”测试的验证，该测试证实即使在 832K token 时也能完美检索。该模型独特的架构，仅在滑动窗口层上进行位置编码，而在全局层上不进行位置编码，被认为是其在没有性能下降的情况下处理如此扩展上下文的关键。
-
新研究增强 Transformer 位置编码以更好地理解语言
两篇新研究论文探讨了 Transformer 模型位置编码的进展，旨在提高它们对 token 顺序和句法结构的理解。第一篇论文全面 survey 了现有方法，从绝对和相对嵌入到旋转位置嵌入 (RoPE) 及其长上下文扩展，强调了通过各种任务评估上下文扩展的重要性。第二篇论文引入了语法感知位置嵌入 (SiPE)，它将依赖解析的句法信息集成到位置嵌入中，在不增加推理成本的情况下，在 SyntaxGym 和 GLUE 等基准测试中显著提高了…
-
AdaRoPE 通过特定头的位置嵌入增强 Transformer 性能
研究人员引入了 AdaRoPE，一种新颖的旋转位置嵌入 (RoPE) 方法，解决了 Transformer 标准实现中的局限性。AdaRoPE 认为模型中的不同注意力头具有不同的功能角色，因此需要个性化的频率范围和缩放因子以获得最佳性能。通过为每个头配备可学习的参数，AdaRoPE 在短上下文和长上下文场景中均表现出改进的性能，优于 YaRN 等现有的 RoPE 变体。
-
Apache Spark 内存管理详解：统一内存模型、溢出和 AQE
Apache Spark 的内存管理，特别是其统一内存管理器，即使在总内存未超的情况下也可能导致 OutOfMemory 错误。Executor 的 JVM 堆被划分为保留内存、用户内存和用于执行与存储的统一区域等区域。由 `spark.memory.fraction` 控制的统一区域在执行内存（用于 shuffle 和 join 等瞬时任务）和存储内存（用于缓存）之间共享。OOM 错误的一个常见原因是，倾斜的 reduce 分区需要…
-
Qwen-3.6 27B 模型可处理 262K 上下文，用户探索扩展方法
r/LocalLLaMA 子版块的用户正在讨论 Qwen-3.6 27B 模型的功能，其中一位用户报告在 262K 上下文窗口下运行成功。该用户正在探索 Yarn 缩放等方法以期进一步扩展上下文长度。讨论还涉及高上下文使用率的原因，将其归因于其当前设置中的工具集成和内存膨胀。
-
Empero AI 发布 Qwythos-9B-v2，通过 100 万 token 上下文修复循环问题
Empero AI 发布了 Qwythos-9B-v2，这是其大型语言模型的更新版本，旨在消除之前影响少量输出的循环和退化问题。新版本通过一种称为“最终 Token 偏好优化”的技术，实现了 0% 的循环率，同时不牺牲其 100 万 token 的上下文窗口或推理能力。内部基准测试显示，Qwythos-9B-v2 在知识和推理任务上的性能保持不变或略有提高，但在编码基准测试分数上略有下降。
-
OpenAI 开发者发布 Blume，一个 AI 就绪的文档框架
OpenAI 开发者 Hayden Bleasel 推出了 Blume，一个开源文档框架。Blume 通过允许用户将 Markdown 文件放入一个文件夹来简化文档站点的创建，框架会自动生成一个生产就绪的站点。它包括导航、搜索、主题化和面向 AI 的输出等功能，支持多种语言和内容源。
-
Randomized YaRN 增强了 LLM 的长上下文推理能力
研究人员开发了 Randomized YaRN，这是一种新颖的训练方法，旨在增强大型语言模型 (LLM) 在处理比初始训练长度长得多的文本序列时的泛化能力。该技术结合了基于 YaRN 的位置外插和随机位置编码以及长度课程。通过在短上下文训练期间也让模型接触分布外的位置表示，Randomized YaRN 在 BABILong 和 MRCR 等长上下文推理基准测试中表现出改进的性能，尤其是在远超训练数据的长度下。
-
新的 PoPE 嵌入在 Transformer 中解耦内容和位置
研究人员开发了极坐标位置嵌入 (PoPE) 来改进 Transformer 架构，通过解耦内容和位置信息。这种新方法 PoPE 解决了现有 RoPE 嵌入中内容和位置纠缠的局限性，这可能会阻碍性能。PoPE 在需要基于位置或内容的索引任务中表现出卓越的性能，并在音乐、基因组学和自然语言的序列建模中显示出显著的提升，甚至优于专为长度外推设计的方法。
-
DepsGuard 工具加固软件依赖项配置
DepsGuard 是一款新的命令行工具，旨在通过加固依赖项管理配置来增强软件开发的安全性。它扫描 npm、pnpm、yarn、bun 和 uv 等常用包管理器，并将其设置与推荐的安全实践进行比较。该工具提供交互式文本界面来审查潜在问题并应用修复，并提供只读扫描和恢复先前配置的选项。