qwen3:8b
PulseAugur coverage of qwen3:8b — every cluster mentioning qwen3:8b across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
研究发现:无审查AI模型在渗透测试中表现不佳
一项最近对AI模型进行渗透测试的评估显示,通常推荐用于此类任务的无审查模型,其表现不如经过对齐的模型。实验涉及攻击OWASP Juice Shop实例的三个模型:一个标准的对齐模型(qwen3:8b)、一个无审查的进攻性安全模型(dolphin-cyber)和一个更大的无审查代码模型(qwen2.5-coder-14b)。与预期相反,无审查安全模型需要最多的协助,而对齐模型表现更好,在较少的指导下成功完成了更多攻击。
-
在 Windows 上使用 Ollama 和 Qwen 3.8 设置免费本地 AI Agent Hermes
一份指南详细介绍了如何在 Windows 上使用 Ollama 和 Qwen 3.8 设置 Hermes Agent,以获得免费的本地 AI Agent 体验。该过程包括安装 Ollama,下载 Qwen 3.8 模型,以及关键地将 Ollama 的上下文长度配置为至少 64K tokens,这对于 Hermes Agent 的功能是必需的。该指南还涵盖了安装 Hermes Desktop 应用程序并通过自定义端点将其连接到 Olla…
-
Ollama 支持 OpenAI 兼容性,实现本地 AI 模型开发
Ollama 提供了一个本地、兼容 OpenAI 的 API 端点,允许开发者在自己的机器上运行 AI 模型,从而避免 API 成本和数据隐私问题。虽然设置 Ollama 很简单,但开发者可能会遇到上下文窗口限制、不支持的 API 功能和输出验证等问题。上下文窗口大小根据可用 VRAM 动态设置,通常默认为较小的值,这可能导致模型忽略提示的一部分。用户可以通过环境变量或在 Modelfile 中通过指定 `num_ctx` 参数创建自…
-
本地 LLM 通过 Ollama 和 Python 获得实时网络搜索和新闻功能
一份新指南演示了如何使用 Ollama 和 Python 将实时网络搜索和新闻功能集成到本地大型语言模型 (LLM) 中。这种方法允许通常具有静态知识截止日期的 LLM 通过定义 LLM 可以调用的工具(函数)来访问当前信息。该指南使用了 Qwen 3、Llama 3.1 和 Mistral AI 等模型,这些模型通过 Ollama 的 Python 库支持工具调用。通过实现网络搜索、新闻检索和页面内容提取的函数,用户可以构建一个克服…
-
SPILLWAY防御系统在AI智能体提示注入方面实现零成功率
一种名为SPILLWAY的新型防御系统已被开发出来,用于保护使用工具的AI智能体免受提示注入攻击。SPILLWAY通过确定性地将工具调用目标与用户请求和只读工具输出进行比对来运行,而不是依赖语言模型做出每一个决定。这种方法显著降低了智能体被欺骗以向攻击者发送数据或金钱的风险,在各种基准测试和智能体骨干网络中实现了零范围内的攻击成功率。
-
Surface Laptop Ultra 通过 Ollama 运行 Qwen3 编码器 30B,在短代码任务中表现出色
一台配备 Nvidia RTX Spark N1X GPU 的 Surface Laptop Ultra 在使用 Ollama 本地运行 Qwen3 编码器 30B 模型进行短代码任务时,实现了每秒 90.9 个 token 的惊人速度。与配备相同硬件的联想 Yoga 9n 在类似任务上的表现相比,这一性能明显更快。然而,在处理超过 10 万个 token 的非常长的提示时,Surface Laptop Ultra 的性能显著下降至每…
-
Ollama 和 ComfyUI 的 GPU 共享策略,适用于单块 RTX 用户
本文为用户提供了实用的策略,以便在单块 RTX GPU 上通过 Ollama 运行大型语言模型(LLMs)并使用 ComfyUI 生成图像(如 Stable Diffusion),同时避免出现显存溢出(OOM)错误。文章详细介绍了各种 LLMs(如 Qwen2.5 Coder 14B 和 Llama3.1 8B)以及 Stable Diffusion 模型(SDXL、带 ControlNet 的 SD 1.5)的大致显存消耗,并就 1…
-
研究人员详述 LLM 安全测试,撤回误报,发现真实漏洞
一位安全研究人员详细介绍了一个测试 LLM 应用程序的过程,最初认为他在 Open WebUI 中发现了跨用户数据访问漏洞。然而,在重新测试后,研究人员发现其攻击者凭证无效,导致最初的发现被撤回。这次经历凸显了严谨方法论的重要性,并促使开发了一个强大的测试框架,最终识别出一个真实的跨用户 RAG 授权链和一个可转移的越狱技术。
-
编码LLM结构化文本声明被评分脚本错误驳斥
最近的一项评估旨在测试编码语言模型在处理结构化文本方面优于通用模型的说法。该实验使用了五个不同的任务,包括JSON修复和YAML操作,并多次运行每个任务以考虑模型随机性。然而,由于在评分脚本中发现了一个错误,该错误在YAML中错误地处理了日期格式,导致无法准确评估任何模型的性能,因此评估本身被中止了。
-
AI代理的程序性记忆在干扰和复用方面的测试
研究人员调查了语言代理如何处理其程序性记忆的变化,重点关注复用和干扰。该研究结合了对BrowserGym TimeWarp中界面适应的回顾性分析以及在合成购物任务上的受控实验。在对qwen3:8b模型进行的受控测试中,与无记忆条件相比,具有程序性记忆的代理有时会选择更昂贵的商品,但在各种不匹配条件下,特定的干扰特征并未持续出现。研究结果表明,存在一个测试区域,程序性记忆可以在其中不匹配而不会引起显著的行为中断,尽管导致可观察错误的进一…
-
AI代理安全测试存在缺陷,真实的攻击得以成功
一位安全研究人员发现,常见的AI代理劫持演示无效,在qwen3:8b模型上20次中有20次失败。研究人员发现,这些标准测试依赖于一个简单的载荷,其中包含明确的忽略先前指令的指示,模型很容易抵抗。一种更复杂的攻击,伪装成普通的商业软件,没有明显的恶意指令,在20次中有20次试验中成功,这表明代理安全测试的有效性更多地取决于攻击的复杂性,而不是模型的固有安全性。
-
AI模型在罕见故障下的解释性参与发生变化
研究人员调查了大型语言模型(LLMs)在面对日益罕见的异常故障时,如何改变其解释性参与。他们使用qwen3:8b、llama3.1:8b和mistral:7b等开源模型,在具有不同故障概率的工具调用任务上进行实验,发现诱导结构显著影响模型行为。具体而言,当模型被迫立即解释每一次故障时,参与度会增加然后趋于平稳,而其他条件则未显示出明显的参与度下降。
-
Ollama 生产环境设置详情介绍 GPU 内存管理和负载均衡
本文详细介绍了 Ollama 的生产环境设置,重点关注 GPU 内存管理和并发负载。作者描述了一种混合 GPU 驻留策略,将 qwen3:8b 和 BGE M3-Embedding 等常用模型固定在内存中,同时在单独的实例上运行不太常用的模型。他们强调调整 Ollama 的 `OLLAMA_MAX_LOADED_MODELS` 参数以防止 VRAM 抖动,并引用了一个生产事件,其中延迟显著增加。该架构利用 Kong API Gatew…
-
AI维护的维基MindBase现已在免费模型上本地运行
MindBase(一个由AI维护的维基应用程序)的开发者已成功将其完全迁移到免费、本地AI模型上运行,无需API密钥或云端编辑器。主要改进包括将AI操作从复杂的链式调用简化为单一JSON模式补全,通过禁用模型推理流解决了88秒的延迟问题,并通过在实施前呈现建议的维基更新供用户明确批准来增强用户信任。该应用程序现在还能在用户笔记和AI维护的维基之间进行视觉区分,硬件检测会引导用户选择最适合其系统的本地模型。