Chinese content算力紧缩下 Fal、Together、Baseten 转向自购 Nvidia 芯片
Fal、Together、Baseten 这些靠租 GPU 做推理服务的公司，现在开始自己买 Nvidia 芯片了。算力越来越难租到，说明推理这条赛道的成本和供应格局在变。做部署的朋友可以看看别人怎么重新算这笔账。
#inference services
37 stories · 6 in 7 days · 24 in 30 days
Stories, products and papers tagged "inference services", newest first.
Nov 13
Nov 11
Chinese content论文揭示前缀缓存的智能体服务存在亚稳态：一次突发可致吞吐腰斩70分钟
跑过 vLLM 智能体服务的人应该都见过那种莫名的性能崩塌，这篇论文把它解释清楚了：一次几小时的突发流量就能让命中率掉到 10%，吞吐腰斩还自己好不了。论文给了能用的预算器方案，不用调参，直接把 KV 池撑爆的可能性掐掉。
Chinese contentDatabricks 研究副总裁谈安全：不使用质量差的 neocloud GPU
这是 Databricks 内部人的第一视角：以前嫌公司安全流程太慢，看到别家推理服务商接连出安全事故后改观了。他说的具体一条是不用 neocloud 的低价 GPU。做企业服务、要评估推理供应商的团队值得看看这条思路。
Nov 8
Chinese contentSGLang Summit 2026 公布分组议程，聚焦智能体系统基础设施
SGLang 办的峰会，11 月在旧金山，议程全是智能体服务、评估这些硬核工程话题，做 agent 后端的人可以看看。
Nov 7
OpenRouter Logs 790T Tokens in October, Up 25x Since January
The 25x token growth in ten months is a rough proxy for how fast real application traffic, especially agentic workloads, is scaling across the ecosystem. Developers choosing routing providers or pricing tiers, and analysts tracking which model labs retain usage, can mine the recap for demand signals. Compare it against your own token spend to benchmark adoption curves.
Nov 5
Chinese contentServerBench：让编码智能体自己设计 LLM 推理服务系统
这篇论文挺有意思：让 Claude Sonnet 5.5 这类编码智能体去自己写推理服务系统，成绩做到 vLLM 的 4.87 倍，还附带基准复现方法。
Chinese contentOpenRouter 数据：DeepSeek 官方仅服务 16.84% 的自家模型 Token
OpenRouter 的数据挺有意思：DeepSeek 官方只接到不到两成的自家流量，Novita 等十几家第三方都在分这块蛋糕。
DeepSeek Tokens Split Across 20 Inference Providers
Open-weight models decouple the model from the provider, so serving capacity becomes a commodity market where dozens of hosts compete on price and latency. Teams deploying DeepSeek can shop across providers rather than depend on one vendor. The 17% self-hosted share shows even the model's creator holds only a minority of its own serving traffic.
Nov 4
Chinese contentMiniMax H3 Lite 与 Highspeed 在 Replicate 半价至年底
MiniMax 的 H3 Lite 和 Highspeed 在 Replicate 上打五折到年底，走 Cloudflare AI Gateway 也能用，想低成本跑这两个模型的可以薅一波。
Chinese contentFireworks 每日托管超 40 万亿 token 的专用模型推理
Fireworks 晒了自家数据：每天处理 40 万亿 token，全是给客户定制的后训练模型，可以看看企业定制模型的需求规模到底有多大。
Chinese contentAmazon Bedrock 在印度上线 Kimi K3 本地推理
Moonshot 的 Kimi K3 现在能在印度本地跑推理了，数据不出 Mumbai 和 Hyderabad，还附了处理 Indic 语言文档的示例代码。
Nov 1
Chinese contentBaseten 传以 300 亿美元估值融资约 20 亿美元
推理云公司 Baseten 传融资 20 亿、估值冲到 300 亿美元，收入一季度翻三倍，比 Fireworks 的 175 亿估值还高一截。
Oct 30
Chinese contentGearUp：利用 DAG 空闲时间隐藏 Serverless 推理加载开销
一篇系统方向的论文：GearUp 把模型加载塞进 DAG 的空闲时段，延迟最高降到十分之一，内存还省九成，做推理服务的人可以看看。
Oct 26
Oct 23
Chinese contentAI 推理服务商 TokenPulse 在新加坡开设 APAC 中心
做 AI 应用的朋友可以看看，TokenPulse 在新加坡设了亚太中心，serverless、按需、预留三种付费方式都有，部署推理服务时多个选择。
Oct 21
Chinese contentDeepSeek 在知乎披露 V4.1 Flash 推理服务利润率细节
DeepSeek 在知乎自曝家底：V4.1 Flash 每卡每小时收入 $38，有人算出毛利率约 80%，这数据 Twitter 上根本没有。
Oct 20
Chinese contentDeepSeek 靠扩散与托管渗透，美国政策却让推理服务商坐收 90% 毛利
有人算了一笔账：DeepSeek 模型免费扩散，托管方却拿 90% 毛利，Moonshot 和智谱的托管生意也被点名讨论。
Chinese contentDeepSeek 单卡时收入 38 美元，是 H100 租金 3 美元的十倍吗？
有人算出 DeepSeek 每张卡时收入 38 美元、H100 租金才 3 美元，就说利润十倍，这条帮你拆解这个算法错在哪。
Chinese contentDeepSeek 推出 DeepInfer 推理服务
DeepSeek 出了个叫 DeepInfer 的东西，主打让 AI tokens 到处都能用上，感兴趣可以盯一下详情。
Chinese content开源权重模型为中国 AI 实验室带来用户，也带来收入压力
开源模型让 Moonshot AI 和 MiniMax 涨了用户，但第三方托管商拿同款模型打价格战，钱反而难赚，这篇讲清了背后的矛盾。
PhysisServe Launches as Autoregressive Denoising Inference System for vLLM-Omni
This signals that diffusion-style and autoregressive denoising workloads are getting dedicated serving infrastructure rather than piggybacking on standard LLM stacks. Engineers running multimodal or video generation pipelines should watch vLLM-Omni, since the pipelining and multi-stream scheduling tricks could cut tail latency without a separate deployment. vLLM's direct endorsement also suggests upstream adoption of these scheduling techniques is likely.
Chinese contentFlowMaker：联合优化 LLM 工作流部署，goodput 提升 10.14 倍
这篇论文做了个叫 FlowMaker 的系统，能自动帮你选 LLM 工作流的模型和部署方案，实测 goodput 提到 10 倍还省钱，做推理服务的可以看看。
Oct 15
Oct 8
Chinese contentvLLM 核心维护者将于 10 月 19 日在 San Jose 谈推理经济账
vLLM 的核心维护者亲自讲推理服务的成本和延迟怎么权衡，做部署的人去听听能省不少踩坑时间。
Oct 4
Chinese contentPrime Intellect 推出 Prime Inference 推理服务平台
Prime Intellect 做了个兼容 OpenAI API 的推理平台，跑开源模型速度到 101 tok/s，还支持按需付费的 Serverless 模式。
Prime Intellect launches Prime Inference serving GLM-5.3 on vLLM
Serving agentic workloads reliably is a systems problem beyond raw token throughput, and this launch shows how topology and scheduler design affect tool-call reliability. Practitioners building agent infrastructure can study the approach or evaluate Prime Inference against self-hosted vLLM deployments. GLM-5.3, a Zhipu (Z.ai) model, being served at scale also signals growing demand for open Chinese models in Western inference stacks.
Sep 30
Sep 29
Sep 22
Papers09:27
Chinese content阿里量化分析LoRA适配器共现规律，首个适配器带来66.1%延迟开销阿里拿生产数据量化LoRA适配器共现规律，66.1%延迟开销这类数字，做推理服务的会想看。
Sep 19
Sep 9
Chinese contentPerplexity使用NVLink Blackwells进行推理服务
Perplexity宣布用上NVLink Blackwells，每天5000万查询的AI搜索服务性能提升，还能扩展到Vera Rubins。
Aug 26
Aug 13
Jul 28
Chinese contentKimi K3开源上线，多家推理服务API价格一致但Token plan开始打折
Kimi K3开源了，各平台价格统一，但有些套餐已经开始打折，Cursor给的额度也高，想用便宜算力的可以留意了。
Jul 17
May 19
Chinese contentModal 团队用 Devin Auto-Triage 自动排查推理事故
做推理服务运维的团队终于有了能主动干活的事故排查工具——Devin Auto-Triage 自动监控、分析代码和指标，省去手动提示的麻烦，建议有运维痛点的团队试试。
