实体
Institute of Science and Technology Austria
Institute of Science and Technology Austria
PulseAugur coverage of Institute of Science and Technology Austria — every cluster mentioning Institute of Science and Technology Austria across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
RTX 5090 GPU 为 8 位用户提供 125B 编码模型
一份技术指南详细介绍了如何在一台 RTX 5090 GPU 上为多位用户提供一个拥有 1250 亿参数的编码模型 Qwen3.8 Flash-Next。该设置使用开源 Strata 引擎，最多可支持八名开发人员同时使用，但由于并行槽处理的限制，随着用户数量的增加，每位用户的性能会显著下降。该指南还解决了租用容器中的 CPU 节流和 VRAM 限制等常见问题，并通过暴露兼容 Anthropic 的 API 端点，演示了如何将模型与 Cl…
-
大语言模型量化格式：GGUF、GPTQ、AWQ 和 NF4 对比
本文比较了四种主要的大语言模型（LLM）权重量化格式：GGUF、GPTQ、AWQ 和 NF4。量化对于减小模型尺寸以适应有限的硬件限制（如消费级 GPU 或统一内存系统）至关重要。每种格式在内存占用、推理速度和准确性之间提供了不同的权衡，使其适用于特定的部署场景。