Qwen2.5-14B-Instruct
PulseAugur coverage of Qwen2.5-14B-Instruct — every cluster mentioning Qwen2.5-14B-Instruct across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 Spectral-LSH 方法可高效压缩 LLM 提示
研究人员开发了 Spectral-LSH，一种新颖的无需训练的方法，用于压缩语言模型的长提示，解决了预填充注意力中的二次方扩展问题。该技术使用 Krylov 子空间方法和随机特征来近似注意力核算子，然后采用 SimHash 将相似的 token 分组为宏 token。在 Mistral-7B-Instruct-v0.3 和 Qwen2.5 模型上的评估表明，Spectral-LSH 在更高级别的压缩比（8 倍和 16 倍）下能有效保持…
-
新框架提升了大型语言模型关系抽取的准确性和可解释性
研究人员开发了一个名为COGRE的新框架，该框架提高了大型语言模型中关系抽取的解释性和准确性。该框架解决了模型被无关文本误导以及未能达到人类标注者期望等挑战。COGRE将抽取过程结构化，以模仿人类文本处理，并使用一种名为HIT@DICT的强化学习策略，通过奖励正确预测中派生的与关系相关的短语来使推理与关系标签保持一致。
-
研究发现 LLM 代理对语义噪声比对格式噪声更敏感
一项新研究调查了大型语言模型 (LLM) 代理如何处理其推理中的不同类型的噪声。研究人员发现，与基于表示的更改（如重新格式化）相比，改变含义的扰动（如释义）对 LLM 代理的答案影响更大，即使在严重程度匹配的情况下也是如此。该研究在留出的模型上验证了这些发现，并提出了一个“隐匿性发散”机制，其中语义变化会影响中间推理步骤，从而导致不同的结果。
-
AI 代理的类似 Reddit 的平台数据揭示了安全风险和真实性下降
研究人员发布了 Moltbook 文件，这是一个包含来自一个由 AI 代理组成的类似 Reddit 平台的超过 232,000 篇帖子和 220 万条评论的数据集。该平台 OpenClaw 上的代理发布了 API 密钥和密码等敏感信息。使用此数据对 Qwen2.5-14B-Instruct 模型进行微调，显著降低了其真实性，尽管在对类似大小的 Reddit 数据集进行微调时也观察到了类似的下降。研究表明，虽然 Moltbook 可能代…
-
小型语言模型自提示以提取隐私敏感临床数据
研究人员开发了一个框架，使小型语言模型能够自主生成和优化提示，以从牙科记录中提取隐私敏感的临床信息。该研究评估了几种开源模型，其中 Qwen2.5-14B-Instruct 和 Llama-3.1-8B-Instruct 在直接偏好优化后表现强劲。这种方法表明，自动提示工程和轻量级后期训练可以使用本地的小型语言模型实现有效的临床信息提取。
-
研究人员通过合成数据和强化学习调整大语言模型以适应巴西医疗保健
研究人员开发了一种方法，通过注入官方临床指南的知识来调整大语言模型以适应巴西医疗保健领域。他们从178项指南中创建了一个超过7000万个token的合成数据集，并对一个140亿参数的模型Qwen2.5-14B-Instruct进行了微调。这个调整后的模型在新基准HealthBench-BR和PCDT-QA上取得了高分，尽管模型规模较小，但表现优于几个领先的商业模型。该团队已发布数据集、基准和模型权重，以促进巴西葡萄牙语临床自然语言处理…