#推理引擎

共 20 条 · 7 天 4 条 · 30 天 7 条

vLLM 3 SGLang 2 开源模型 2 智能体 2 CRIU 1 Dynamo 1 FireworksAI 1 GLM-5.3-Flash 1

信息流里打上「推理引擎」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月10日

技巧 Agent 与开发者00:11

GLM-5.3-Flash 推理引擎已有人写出三个，作者称中推还没人动手

有意思的观察：GLM-5.3-Flash 已经有三人写了专属推理引擎，作者判断未来每个模型都会有自己的深度优化版本，做推理优化的可以关注这个方向。

#GLM-5.3-Flash #Zhipu #推理引擎 #开源模型

事件专题

Lxfater@lxfater2 个信源在谈原文

10月7日

产品 Agent 与开发者精选21:21

vLLM v0.31.0 引入进程恢复功能

vLLM 团队发布新功能，用 CRIU 技术实现进程恢复，比传统冷启动快多了。

#vLLM #CRIU #TP1 #量化

官方账号vLLM@vllm_project原文

10月4日

产品 Agent 与开发者19:44

开发者自研推理引擎 tqllm，单卡 RTX 3090 跑 Qwen 27B 达每秒 273 token

一张 RTX 3090 把 27B 模型跑到每秒 273 token，作者自己写的引擎，速度直接把普通部署方案甩开了。

#tqllm #Qwen #RTX 3090 #推理引擎

Lxfater@lxfater原文

技巧 Agent 与开发者18:02

LocalMaxxing：查你的显卡本地跑大模型能有多快

想本地跑模型又怕显卡拉胯的，先上 LocalMaxxing 查查同款显卡的实测 token 速度，买卡前心里有数。

#LocalMaxxing #本地部署 #开源模型 #推理引擎

Lxfater@lxfater原文

10月2日

产品 Agent 与开发者多源确认76°04:47

PyTorch推出原生TPU后端引擎vLLM和SGLang

Google和Meta工程师将分享如何让vLLM和SGLang在TPU上原生运行，保留GPU用户熟悉的API和工作流。

#vLLM #SGLang #PyTorch #TPU

事件专题

官方账号PyTorch@PyTorch11 个信源在谈原文

9月18日

论文政策与合规精选10:17

前沿大模型可通过推理引擎指纹识别发起攻击

朋友间推荐：这篇论文讲的是前沿大模型（比如OpenAI、Anthropic的模型）如何通过识别推理引擎的指纹来发起攻击，挺有意思的。

#前沿大模型 #推理引擎 #攻击 #vLLM

arXiv: OpenAI@Sarah Radway 等 4 人原文

9月12日

技巧 Agent 与开发者精选78°23:47

LLM 请求处理全流程解析

想了解 LLM 运行原理的朋友，这篇 Together AI 工程师的解释很实用，讲了预填充、解码、缓存这些具体技术，还提到了 Agent 循环和前缀缓存优化。

#Together AI #LLM #推理引擎 #提示词工程

shao__meng@shao__meng原文

8月31日

产品精选23:50

FireworksAI 推出新一代推理引擎

FireworksAI 推出新一代推理引擎，实现每步更新权重，大幅提升生成速度和 GPU 利用率。

#FireworksAI #推理引擎 #GPU利用率 #权重同步

Fireworks AI@FireworksAI_HQ原文

8月29日

产品多源确认精选06:26

NVIDIA Dynamo在推理引擎中的定位

NVIDIA解释了Dynamo如何与现有推理引擎配合工作，帮你扩展GPU推理能力。

#NVIDIA #Dynamo #推理引擎 #GPU

事件专题

官方账号NVIDIA AI@NVIDIAAI4 个信源在谈原文

7月13日

技巧 Agent 与开发者11:12

Together Compute 发布万亿token生产规模推理引擎深度剖析幻灯片

想了解万亿token级别的推理引擎怎么搭建？Together Compute 把他们的实战经验做成幻灯片公开了。

#Together Compute #推理引擎 #智能体 #生产部署

官方账号Together AI@togethercompute原文

7月10日

行业多源确认精选04:53

首届vLLM大会将在Ray Summit举办，8月24-26日旧金山

vLLM社区第一次线下大会，想了解高性能推理前沿和开源生态的朋友别错过，直接和NVIDIA、AMD、Google TPU的工程师面对面。

#vLLM #Inferact #Ray Summit #推理引擎

事件专题

官方账号vLLM@vllm_project11 个信源在谈原文

7月9日

产品02:44

HuggingFace 与 ZML AI 集成推理引擎，降低开源模型推理成本

HuggingFace 和 ZML AI 搞了个新推理引擎，集成在 HuggingFace 上，专为开源模型提速降本，可以直接用。

#HuggingFace #ZML AI #推理引擎 #开源模型

官方账号Clement Delangue@ClementDelangue原文

7月1日

产品 Agent 与开发者多源确认78°12:08

vLLM v0.24.0 发布：支持 MiniMax-M3 和 DeepSeek-V4

vLLM新版本来了！支持MiniMax-M3和DeepSeek-V4，还有新解析器和量化模型处理，推理效率更高。

#vLLM #MiniMax-M3 #DeepSeek-V4 #推理引擎

事件专题

官方账号vLLM@vllm_project6 个信源在谈原文

6月29日

技巧 Agent 与开发者13:51

Together AI 将举办 Agentic Coding 推理引擎 Workshop

想了解 agentic coding 对推理引擎的新要求？Together AI 的这个实操 workshop 直接带你上手，时间是6月29日上午。

#Together AI #AI Engineer World’s Fair #agentic coding #推理引擎

官方账号Together AI@togethercompute原文

6月16日

产品 Agent 与开发者多源确认精选73°20:16

vLLM v0.23.0 发布：408 次提交，DeepSeek-V4 支持增强

vLLM v0.23.0 大更新，DeepSeek-V4 和 Llama 用户值得升级，新的 KV 缓存卸载能省显存，推理与工具调用解析也更顺了。

#vLLM #DeepSeek-V4 #Llama #Gemma 4

事件专题

官方账号vLLM@vllm_project5 个信源在谈原文

6月13日

模型 Agent 与开发者多源确认精选09:48

Together AI 为 Blackwell 优化推理引擎，TPS 提升 31%

Blackwell 上推理快了 31%

#Together AI #Blackwell #推理引擎 #编程助手

事件专题

官方账号Together AI@togethercompute5 个信源在谈原文

6月12日

产品 Agent 与开发者多源确认精选12:08

vLLM-Omni 获 5K GitHub Stars，支持 30+ 多模态模型

多模态推理开发者终于有了一个统一的高效引擎——vLLM-Omni 支持 30+ 模型和多种硬件，做多模态应用或推理优化的团队可以直接拿来用，省去重复造轮子的时间。

#vLLM-Omni #多模态推理 #开源/仓库 #推理引擎

事件专题

官方账号vLLM@vllm_project11 个信源在谈原文

5月29日

产品14:34

StepFun 模型获 vLLM Day-0 支持

vLLM 的 Day-0 支持意味着 StepFun 模型发布即可用，做模型推理部署的团队可以省去等待适配的时间，建议关注。

#vLLM #StepFun #推理引擎 #开源/仓库

官方账号阶跃星辰 Stepfun@Stepfun_AI原文

产品 Agent 与开发者精选08:39

Together AI 详解 LLM 推理引擎：API 调用背后的系统层

做 AI 原生应用开发的团队，理解推理引擎能帮你优化 API 调用成本和响应速度，建议点开这篇入门指南。

#推理引擎 #LLM API #Together AI #系统层

官方账号Together AI@togethercompute原文

5月20日

产品76°04:40

Together AI 推理引擎：比 Claude Opus 成本低 76%

做多智能体编码或高并发推理的团队，终于有基准测试对准真实负载了——Together AI 的引擎在成本和速度上都有明显优势，值得跑一下自己的场景试试。

#推理引擎 #Together AI #KV 缓存 #成本优化

官方账号Together AI@togethercompute原文