一家金融科技公司的开发人员构建了一个自定义LLM网关，以管理内部对AWS Bedrock的访问，避免了直接分发AWS凭证的风险。该网关向团队发放唯一密钥，允许对模型访问和令牌预算进行细粒度控制。这种方法将敏感数据保留在公司网络内，并为财务报告提供清晰的使用跟踪，解决了直接IAM凭证分发和共享密钥的局限性。 AI
影响 为组织内管理对LLM服务的安全且成本受控的访问提供了一个模型。
排序理由 开发人员描述了构建一个自定义工具来解决特定的基础设施问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>A few months ago the ask landed on my desk that a lot of infra people are getting right now: "The XYZ (Non Tech) teams want to build on our LLMs. Can you give them access to Bedrock?"</p> <p>Simple enough on paper. AWS Bedrock was already in our account, the models were enable…