AITOP

模型服务

共 8 条相关 AI 资讯
8月25日
17:03
17:03IT之家（博客/媒体）
阿里云TokenPlan正式接入千问App及PC端，支持Qwen3.8-Max等模型，用户可通过绑定API Key直接调用Token Plan订阅额度，实现复杂任务操作和办公文件处理。阿里云TokenPlan支持在Qoder、Codex等AI工具中使用统一API Key，按需切换模型，提供更稳定、灵活的服务。
AI产品阿里云TokenPlan千问App模型服务
推荐理由：阿里云TokenPlan接入千问App及PC端，支持多种模型，方便用户进行复杂任务操作和办公文件处理，使用更灵活、稳定。
原文
8月20日
10:12
10:12官方一手arXiv: Anthropic@José A. Perdiguero López, Miguel A. Durán-Olivencia
Flama是一个开源Python框架，基于Asynchronous Server Gateway Interface（ASGI），用于开发部署生产级web API、机器学习服务和大型语言模型（LLM）应用；其子系统包含依赖注入系统，可从类型注解解析参数，还支持Pydantic等格式；内置JWT认证、WebSocket端点等功能，可通过命令行界面管理应用。
AI模型FlamavLLMMLX
推荐理由：Flama这个开源框架，能帮你开发部署生产级API和LLM服务，和普通框架比更统一架构，还能自动处理多种模型格式。
原文
07:25
07:25Fireworks AI@FireworksAI_HQ
FireworksAI 连续第二个月在 tryramp 榜单中排名靠前，已连续四个月出现在该榜单。该模型服务领域的增长反映出更多企业选择成本节约型开源 AI 方案。AI 营销中图像与视频生成的采用率达 9%，尽管低于 Figma，但呈现快速增长态势。
行业FireworksAItryramp开源AI
事件专题
推荐理由：你朋友@arakharazian 提到 FireworksAI 近几个月在模型服务上表现不错，转向开源 AI 能省成本，和 Figma 比 image/video 生成采用率稍低但增长快，可以去了解下。
原文
7月14日
19:51
6月24日
11:41
11:41官方账号arXiv cs.LG@Zhuoren Ye, Tianyu Wo, Dinghao Xue, Mingming Zhang, Yuchen Teng, Chunming Hu, Renyu Yang
CrossPool 是一种为冷 MoE 模型设计的多 LLM 服务引擎，它将 FFN 权重和 KV-cache 分离到两个 GPU 内存池中。权重池合并多个冷模型的 FFN 权重，KV-cache 池动态服务活跃请求，使注意力计算局部化。系统包含 KV-cache 规划器、虚拟化器、层间流水线调度器以及持久化内核，减少了 CPU-GPU 控制开销。在突发长上下文请求下，CrossPool 相比基于 KV-cache 的最先进多 LLM 服务系统，将 P99 TBT 降低了最多 10.4 倍。
论文CrossPoolMoEKV-cache
推荐理由：这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。
原文
6月9日
10:59
10:59官方账号arXiv cs.AI@Hetvi Shastri, Pragya Sharma, Walid A. Hanafy, David Irwin, Mani Srivastava, Prashant Shenoy
精选
现有大模型服务系统将每个定制任务部署为独立模型实例，导致骨干模型重复部署、加速器内存浪费，且无法分摊批处理和加载成本。FMplex 提出一种新范式，将大模型骨干视为虚拟化基础，为每个任务提供逻辑上私有的虚拟大模型（vFM），实际共享同一物理骨干。该方案支持任务独立扩展、生命周期和隔离性，并设计了批感知公平队列调度器，实现任务间和任务内的批处理。在 7 个骨干模型（16 个变体）和 92 个下游任务上，FMplex 相比空间分区降低延迟 80%，相比尽力共置降低 33.3%，集群规模下可承载多达 6 倍的任务数。
论文模型服务虚拟化批处理调度
推荐理由：做模型服务系统或推理优化的团队，FMplex 的虚拟化思路能直接帮你省显存、降延迟，建议研究其调度和共享机制。
原文
6月3日
14:18
5月13日
21:36