API网关相关 AI 资讯 · AI 热点

8月7日

02:11

02:11

官方一手AWS Machine Learning Blog@Anagh Agrawal

本文介绍如何在Amazon Bedrock AgentCore网关上配置速率限制。通过定义请求、令牌和连接数限制，可按JWT声明或IAM身份作用到具体用户或目标。这样可以保护下游模型、工具和智能体免受流量激增影响。

技巧 AgentCore Amazon Bedrock API网关

推荐理由：想给AI接口加限流？AgentCore网关支持按用户和按目标设请求数、令牌数和连接数，配合JWT或IAM就能精准控流量。

8月6日

01:34

01:34

官方账号LangChain@LangChainAI

LangSmith LLM Gateway 上线了客户维度控制，可为每个客户和用户单独设定速率与消费上限。管理员只需一个 API 密钥就能通过 LangSmith 管理多个租户的配额。该功能让用量更可预测，避免个别客户超限引发意外账单。LangChain 在官方博客中介绍了这一更新。

AI产品 LangSmith LangChain API网关

推荐理由：LangChain 给 LangSmith 网关加了按客户限速限预算的功能，一个 key 管多人，不怕超支。

6月25日

01:28

01:28

Guillermo Rauch@rauchg

Vercel AI Gateway 的仪表盘自动显示了 tokens 和 uptime 的恢复数据，效果惊人。用户从 Anthropic API 切换到 Vercel AI Gateway 后，获得了更好的可靠性。这些数据无需手动分析，直接展示在界面上。

技巧 Vercel AI Gateway Anthropic API

推荐理由：Vercel AI Gateway 自动显示 tokens 和 uptime 数据，切换后可靠性更高，比你手动算省事多了。