safetensors
PulseAugur coverage of safetensors — every cluster mentioning safetensors across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
指南详细介绍如何在不到一小时内本地运行开放权重LLM
只要用户拥有必要的硬件和软件,现在可以在一小时内成功在本地运行开放权重大型语言模型。关键步骤包括设置Python环境、安装Hugging Face CLI以及验证GPU内存和磁盘空间等硬件规格。在下载任何模型权重之前,必须仔细审查模型的许可证和文件格式(GGUF或safetensors),以确保法律合规性以及与所选运行时(如llama.cpp或Python堆栈)的兼容性。
-
本地 LLM 工具 llama.cpp、Ollama、LM Studio 正在整合共享引擎
对于希望在本地运行开放权重语言模型的用户来说,在 llama.cpp、Ollama 和 LM Studio 之间进行选择,已经不再是关于原始性能,而是更多地关于用户体验。截至 2026 年中期,Ollama 和 LM Studio 都利用 llama.cpp 引擎来处理 GGUF 模型,其中 Ollama 直接集成了来自上游 llama.cpp 的 llama-server。LM Studio 还在 Mac 上支持 Apple 的 M…
-
LibreAGI 使用 BitTorrent 保存开源 AI 模型
LibreAGI 是一个私有的 BitTorrent 跟踪器,旨在保存开源 AI 模型。它通过为稀有或复制次数较少的模型提供更高的信用额度来激励成员进行模型种子上传。该平台支持各种文件格式和许可证,确保即使原始托管站点消失,模型也能保持可用。提供公共目录和 IRC 频道以促进社区参与和透明度。
-
本地大模型:“无审查”模型的细微差别解析
“无审查”一词用于本地大语言模型(LLMs)实际上描述了至少三个不同的类别,每个类别都有不同的创建方法和质量特征。最宽松的模型,通常源自Gemma、Qwen和Mistral AI等主流模型,通常是用户最好的起点。经过微调的模型,如Dolphin和Hermes,是为了特定任务(如小说或角色扮演)而重新训练的,而基础模型可能会拒绝参与。技术最先进的类别涉及“擦除”模型,其中拒绝行为被外科手术式地移除,但这个过程可能会对推理能力产生负面影响…
-
Perplexity AI 发布更新的多模态分类模型
Perplexity AI 发布了 pplx-decider-v1.3,这是一个基于 Qwen3 8.27B 的更新的多模态分类模型。新版本在决策任务方面提供了增强的性能和鲁棒性,并引入了“Locate”功能,可以提取带有字符偏移量和置信度分数的逐字文本跨度。该模型需要 Python 3.12+、具有大量内存的 CUDA GPU 以及 Hugging Face 令牌才能访问。
-
Audit LLM checkpoints remotely using Python and safetensors headers
一个Python脚本允许用户在不下载整个模型的情况下审计大型语言模型检查点。通过仅读取safetensors文件的HTTP Range请求头,用户可以验证模型的完整性、参数分布和硬件兼容性。此方法显著减少了数据传输,仅需千字节的元数据,而非数百千兆字节。
-
Hugging Face 模型仓库因格式重复而显示大小膨胀
一项技术分析揭示了 Hugging Face 仓库中报告的文件大小与实际模型权重之间存在差异。作者发现,将仓库中所有标记为权重的文件的总和,通常会比加载模型所需的单个文件大几倍。这是因为同一权重的多种格式导出(例如 PyTorch、TensorFlow、ONNX),或者相同的权重文件在不同名称下被列出。此外,分析还强调了缺失 'safetensors' 文件报告方面的问题,其中 'null' 值可能被误解为零参数,导致不使用该特定格式…
-
新的开源工具简化了桌面用户的LLM量化过程
一款名为iQuantize的新型开源桌面工作空间已发布,旨在简化大型语言模型的量化过程。该工具支持转换为GGUF、MLX和ONNX格式,允许用户加载Safetensors或Hugging Face的模型。它提供分步引导的转换过程,能够可视化模型变更,并方便地发布至Hugging Face,附带详细的模型卡。该项目采用Apache 2.0许可,主要在Apple Silicon上进行测试,并提供Windows和Linux版本。
-
Anthropic 的 Numbat 模型检查点在线泄露
Anthropic 未发布的“Mythos类”模型(代号为 Numbat)的检查点已在线上出现。该检查点约7.72 TB,包含142个张量,被描述为大规模训练运行中的中期预训练产物。虽然它包含加载和运行模型的参考实现,但它是原始预训练输出,没有任何后期训练或RLHF,因此不适合直接推理。
-
MCP技能扩展在Hugging Face的25个技能上得到验证
模型上下文协议(MCP)引入了一项新的技能扩展(SEP-2640),允许服务器向代理提供操作技能和工具。新开发的工具mcpscore 1.27.0将根据21条规则检查这些技能,评估其完整性和安全性。这些检查在Hugging Face提供的25个技能上运行,评估了文件完整性、frontmatter一致性以及技能描述中潜在的安全风险,如隐藏指令或嵌入凭证。
-
新的REA工具使编码代理能够逆向工程应用功能
REA(Reverse Engineer Anything)是一款新工具,允许编码代理检查和理解应用程序中的功能,即使没有源代码或文档访问权限。它提供了一个配备各种逆向工程工具的本地MCP服务器,使代理能够分析原生二进制文件、JavaScript和Electron应用程序、.NET程序集等。该工具旨在帮助开发人员理解功能的工作原理,收集证据,然后为自己的项目重建类似的功能。
-
AWS 使用 TorchTitan 框架支持在 Trainium 上训练 Qwen3 LLM
AWS 支持开发者使用其 Trainium 芯片和 TorchTitan 框架来训练 Qwen3 大型语言模型。此次集成支持灵活的训练方式,包括从头开始预训练或对现有模型进行微调。该过程利用标准的 PyTorch 接口,并提供了使用 Hugging Face 的 Transformers v5、TorchTitan 的原生 Qwen3 实现或通过 Neuron Kernel Interface 使用自定义内核的选项。
-
Ollama 放弃 LoRA 适配器支持,用户需合并或使用 llama.cpp
Ollama 自 2026 年 9 月发布的 0.34.1 版本起已弃用 LoRA 适配器支持。此更改意味着包含 ADAPTER 行的 Modelfiles 将导致错误,并且 Ollama 不再处理 safetensors 到 GGUF 或 GGUF 量化的转换。用户现在有两种主要方法来使用 LoRA 微调:要么将适配器直接合并到基础模型中,然后将生成的单个 GGUF 文件导入 Ollama,要么单独管理适配器并使用 llama.cp…
-
Hugging Face 发布了推理步数为 8 的 MOSS-Image 蒸馏模型
MOSS-Image-SFT 模型的蒸馏版本 MOSS-Image-SFT-8-steps-dmd 已在 Hugging Face 上发布。该新模型将网络评估次数从 50 次显著减少到 8 次,提高了效率。它采用了 arXiv 2610.12102 中描述的数据空间蒸馏技术,并在场景图标题上进行了训练。该模型与 Diffusers 等库兼容,并可集成到 ComfyUI 等应用程序中。
-
GGUF 与 safetensors:文件格式决定 LLM 运行时兼容性
LLM 文件格式 GGUF 和 safetensors 的选择取决于运行时环境,而非性能指标。GGUF 由 llama.cpp 团队开发,是一个包含量化、分词器和聊天模板的单一文件容器,并得到 Ollama 和 LM Studio 等运行时的支持。另一方面,safetensors 是一种序列化格式,以其原始精度存储模型,并因其安全性而受到青睐,可防止在加载模型期间执行代码,并得到 transformers 和 vLLM 等库的支持。
-
开发者构建工具以超越演示来测试AI编码代理 · 跟踪2个来源
一位开发者创建了一个名为 `agent-trials` 的工具,用于严格测试AI编码代理,不再仅仅依赖演示性能。该工具允许代理在项目副本上尝试任务,并恢复验证脚本以防止自我通过。早期测试表明,Opus、Sonnet和Haiku等模型在特定编码任务上的表现各不相同,这凸显了超越简单成功分数进行可靠评估的必要性。
-
Ollama 发布 v0.34.1,更新 MLX 和 GGUF 模型创建功能
Ollama 发布了 0.34.1 版本,带来多项重要更新。该版本使 MLX safetensors 的 "ollama create" 功能不再处于实验阶段,并改进了 Apple Silicon 上 MLX 的内存处理。此外,GGUF 模型创建现在需要使用 llama.cpp 工具进行 safetensor 转换和量化,并且优化了 runaway repeat token 检测以减少误报。
-
YuE2-3B 音频模型通过新的分词和微调工具得到增强
为 YuE2-3B 音频生成模型发布了一套新工具,使用户能够对自己的录音进行分词,并针对特定艺术家微调模型。此次发布包括一个音频到语义分词编码器和一个 NAR 分支 LoRA,可用于生成新歌曲或翻唱。这些工具设计用于 24GB GPU,并需要特定的 Python 库和数据集。
-
Hugging Face生态系统在mRNA模型、Gradio和safetensors方面取得进展 · 跟踪3个来源
Hugging Face 参与了多项与人工智能相关的开发。该公司在一篇关于使用165美元训练25种物种的mRNA语言模型的帖子中被重点介绍。此外,用于构建机器学习模型界面的工具Gradio正在自定义前端的背景下进行讨论。最后,safetensors格式已加入PyTorch基金会,表明更广泛的行业采用和合作。
-
Qwen3.8-Flash-Next-FP8 VLM 拥有 125B 参数和 Gated DeltaNet
Qwen3.8-Flash-Next-FP8 是一个拥有 1250 亿参数的 VLM,它使用了 60 亿激活 MoE 单元和 Gated DeltaNet 架构。此 FP8 版本分布在 131 个 safetensors 分片中,并支持思考模式和代理控制等高级功能。