Jaull

新工具Jaull帮助用户找到适用于其PC的兼容本地LLM

一款名为Jaull的新开源Python工具已被开发出来，旨在帮助用户确定他们的个人电脑可以有效运行哪些本地大型语言模型（LLM）。Jaull由Ton-Llop为学位项目创建，它会分析用户的CPU、RAM和GPU，然后查询Hugging Face，根据指定的用途需求推荐合适的模型和量化版本。该工具提供详细的计划，包括文件具体信息、运行时间估算和GPU卸载配置，同时还允许用户进行性能基准测试和跟踪结果。