AWS Deep Learning Container

AWS SageMaker 支持 llama.cpp 用于结构化决策模型

AWS 推出了一种在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型的方法。该方法允许在 CPU 或 GPU 基础设施上提供量化模型，为那些需要对固定选项集而非自由文本进行评分的应用程序提供了托管路径。该系统支持 OpenAI 兼容的聊天补全，并可通过 SemIf 扩展，在不解码答案令牌的情况下返回声明选项的概率，从而实现更结构化的决策过程。