Infercat

Infercat 支持通过加密 P2P 方式共享本地 AI 模型

Infercat 是一个旨在让本地 AI 模型更易于访问的新项目，它允许用户通过加密的点对点隧道与朋友共享模型。该工具使用 tailcat 进行安全连接，使用户无需安装任何软件或创建账户即可通过邀请码进行连接。Infercat 支持 llama.cpp、vLLM 和 Ollama 等多种推理引擎，并提供兼容 OpenAI 的 API 端点，以便轻松集成到现有应用程序中。