#LiteLLM

共 3 条 · 7 天 1 条 · 30 天 2 条

Amazon Bedrock 1 ChatGPT 1 CI/CD 1 Codex 1 Kubernetes 1 OpenAI 1 OpenCost 1 vLLM 1

信息流里打上「LiteLLM」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月22日

论文 Agent 与开发者多源确认12:40

谁为 KV Cache 买单？unalloc 拆解共享推理成本归属

unalloc 把 Kubernetes 和 LLM API 账单拼成一本账，还量化出按 token 和按时间计费能差 12 个点。

#vLLM #Kubernetes #OpenCost #LiteLLM

arXiv: OpenAI@Timothy Urista11 个信源在谈原文

9月4日

技巧 Agent 与开发者官方一手精选00:25

OpenAI ChatGPT Codex在Amazon ECS和Bedrock部署

AWS教你用ECS+Fargate部署LiteLLM网关，连接OpenAI模型到Bedrock，还对比了两种访问方案。

#OpenAI #ChatGPT #Codex #LiteLLM

官方一手AWS Machine Learning Blog@Nick McCarthy11 个信源在谈原文

8月13日

LiteLLM 供应链投毒波及 2500 家企业，195TB 数据泄露

LiteLLM 被投毒，40 分钟偷走 195TB 数据，英伟达、三星这些大厂都中招了，搞 AI 基础设施的都得看一眼。

#LiteLLM #英伟达 #供应链攻击 #数据泄露

IT之家原文