#模型服务

共 9 条 · 7 天 0 条 · 30 天 1 条

FireworksAI 1 Flama 1 FlashVector 1 GLM-5.2 1 MLX 1 tryramp 1 Unity 1 vLLM 1

信息流里打上「模型服务」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月16日

模型 Agent 与开发者精选10:11

FlashVector 优化模型服务栈性能

Unity 的 FlashVector 能优化整个模型服务栈，比只优化 GPU 核心更全面，对广告平台这类系统很有用。

#FlashVector #模型服务 #性能优化 #Unity

arXiv cs.AI@Qi Wu 等 11 人原文

8月25日

产品中美对照17:03

阿里云TokenPlan接入千问App及PC端

阿里云TokenPlan接入千问App及PC端，支持多种模型，方便用户进行复杂任务操作和办公文件处理，使用更灵活、稳定。

#阿里云TokenPlan #千问App #模型服务 #办公文件处理

IT之家原文

8月20日

模型10:12

Flama开源框架支持生产级API与LLM服务开发部署

Flama这个开源框架，能帮你开发部署生产级API和LLM服务，和普通框架比更统一架构，还能自动处理多种模型格式。

#Flama #vLLM #MLX #模型服务

arXiv: Anthropic@José A. Perdiguero López, Miguel A. Durán-Olivencia原文

行业07:25

FireworksAI 在 tryramp 上连续四个月上榜，模型服务领域增长显著

你朋友@arakharazian 提到 FireworksAI 近几个月在模型服务上表现不错，转向开源 AI 能省成本，和 Figma 比 image/video 生成采用率稍低但增长快，可以去了解下。

#FireworksAI #tryramp #开源AI #营销AI

事件专题

Fireworks AI@FireworksAI_HQ2 个信源在谈原文

7月14日

行业中美对照19:51

阿里云百炼对GLM-5.2 Fast mode降价20%，7月15日生效

GLM-5.2的快速模式降价两成，TPS比标准API快1.5~2倍，适合高吞吐的编程助手和智能体场景，有需求的可以关注。

#GLM-5.2 #阿里云 #百炼 #模型服务

IT之家原文

6月24日

论文11:41

CrossPool：分离 KV-Cache 和权重的冷 MoE 模型多 LLM 服务引擎

这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。

#CrossPool #MoE #KV-cache #推理模型

arXiv cs.LG@Zhuoren Ye 等 7 人原文

6月9日

论文精选10:59

FMplex：为大模型部署提供虚拟化共享方案

做模型服务系统或推理优化的团队，FMplex 的虚拟化思路能直接帮你省显存、降延迟，建议研究其调度和共享机制。

#模型服务 #虚拟化 #批处理调度 #推理优化

arXiv cs.AI@Hetvi Shastri 等 6 人原文

6月3日

产品 Agent 与开发者14:18

微软发布前沿AI模型，平台化战略服务开发者

微软将前沿AI模型平台化，做AI应用开发的团队可以直接调用顶级模型并定制，值得关注。

#微软 #AI平台 #模型服务 #开发者

Mustafa Suleyman@mustafasuleyman原文

5月13日

产品 Agent 与开发者官方一手21:36

Kimi 企业级 API 正式发布

企业开发者终于有了稳定的 Kimi API 可用，做智能客服或内容生成的团队可以直接接入，降低自研成本。

#Kimi #企业级API #模型服务 #智能客服

官方一手Moonshot AI: Kimi Blog原文