#推理服务

共 13 条 · 7 天 3 条 · 30 天 7 条

NVIDIA 3 vLLM 3 智能体 3 AI基础设施 2 GLM-5.3 2 OpenRouter 2 Prime Intellect 2 AI编程助手 1

信息流里打上「推理服务」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

行业 Agent 与开发者多源确认09:47

vLLM 核心维护者将于 10 月 19 日在 San Jose 谈推理经济账

vLLM 的核心维护者亲自讲推理服务的成本和延迟怎么权衡，做部署的人去听听能省不少踩坑时间。

#vLLM #推理服务 #NVIDIA

官方账号vLLM@vllm_project11 个信源在谈原文

10月4日

产品 Agent 与开发者官方一手14:02

Prime Intellect 推出 Prime Inference 推理服务平台

Prime Intellect 做了个兼容 OpenAI API 的推理平台，跑开源模型速度到 101 tok/s，还支持按需付费的 Serverless 模式。

#Prime Intellect #Prime Inference #GLM-5.3 #vLLM

官方一手marktechpost@Michal Sutter11 个信源在谈原文

产品 Agent 与开发者多源确认精选04:18

Prime Intellect 推出 Prime Inference，用 vLLM 大规模部署 GLM-5.3

Prime Intellect 用 vLLM 把 GLM-5.3 跑到大规模推理，还拆解了智能体负载下的调度和工具调用坑，做推理服务的人可以看看。

#Prime Intellect #vLLM #GLM-5.3 #推理服务

官方账号vLLM@vllm_project5 个信源在谈原文

9月30日

产品 Agent 与开发者09:45

Manus 支持 OpenRouter 模型接入

Manus Flex 新增三家推理服务商，让你能自由选择模型来构建智能体。

#Manus #OpenRouter #智能体 #推理服务

OpenRouter@OpenRouterAI原文

9月29日

行业 Agent 与开发者78°20:07

Modal Labs融资15.75亿美元估值

Modal Labs融资估值暴涨，AI基础设施赛道资本火热

#Modal Labs #AI基础设施 #融资 #推理服务

techcrunch@Marina Temkin原文

9月22日

阿里量化分析LoRA适配器共现规律，首个适配器带来66.1%延迟开销

阿里拿生产数据量化LoRA适配器共现规律，66.1%延迟开销这类数字，做推理服务的会想看。

#LoRA #Alibaba #扩散模型 #微调

arXiv cs.AI@Tao Zhang 等 4 人原文

9月19日

产品 Agent 与开发者官方一手05:14

亚马逊 SageMaker 推出 13 款新推理服务

亚马逊又推了 13 款新推理服务，覆盖了从推理建议到 KV 缓存的多种功能，对开发者来说挺实用的。

#Amazon #SageMaker #推理服务

官方一手AWS Machine Learning Blog@Kareem Syed-Mohammed原文

9月9日

产品 Agent 与开发者多源确认73°02:42

Perplexity使用NVLink Blackwells进行推理服务

Perplexity宣布用上NVLink Blackwells，每天5000万查询的AI搜索服务性能提升，还能扩展到Vera Rubins。

#Perplexity #NVIDIA #Blackwell #Nemotron 3 Ultra

Aravind Srinivas@AravSrinivas7 个信源在谈原文

8月26日

@makora_ai加入OpenRouter

想体验新推理服务的朋友，@makora_ai在OpenRouter上线了，支持多种模型，值得一试。

#@makora_ai #OpenRouter #推理服务 #模型支持

OpenRouter@OpenRouterAI原文

8月13日

行业多源确认精选18:08

Groq 成为 NVIDIA 云合作伙伴

Groq 成了 NVIDIA 的云合作伙伴，等于推理基础设施拿到官方认证，CEO 还放话要跑赢所有人。

#Groq #NVIDIA #推理服务 #AI基础设施

官方账号Groq@GroqInc4 个信源在谈原文

7月28日

模型 Agent 与开发者官方一手11:30

Kimi K3开源上线，多家推理服务API价格一致但Token plan开始打折

Kimi K3开源了，各平台价格统一，但有些套餐已经开始打折，Cursor给的额度也高，想用便宜算力的可以留意了。

#Kimi K3 #开源模型 #推理服务 #Token plan

官方一手歸藏(guizang.ai)@op741811 个信源在谈原文

7月17日

行业 Agent 与开发者多源确认00:31

Together AI为Cursor AI提供生产推理服务

Together AI给Cursor AI加了推理引擎，编程助手用起来会更顺滑，竞争格局又变了。

#Together AI #Cursor #AI编程助手 #推理服务

官方账号Together AI@togethercompute6 个信源在谈原文

5月19日

产品72°12:25

Modal 团队用 Devin Auto-Triage 自动排查推理事故

做推理服务运维的团队终于有了能主动干活的事故排查工具——Devin Auto-Triage 自动监控、分析代码和指标，省去手动提示的麻烦，建议有运维痛点的团队试试。

#Devin #Auto-Triage #事故排查 #推理服务

Cognition@cognition_labs原文