16:36
Pandaily@contact@pandaily.com (Pandaily)
76°
推荐理由：北大和DeepSeek搞的DSpark，不用改模型就能让推理快80%，吞吐量翻好几倍，适合做部署的试试。
全部 AI 动态
AI 相关资讯全量信息流
6月28日
16:36
北京大学与DeepSeek联合开源了投机解码框架DSpark，该框架无需修改模型即可将LLM推理速度提升60-85%。在严格延迟约束下，吞吐量增益最高达661%。DSpark通过高效的投机解码策略显著降低推理延迟。这一成果已在GitHub上开源。
6月18日
11:09
11:09IT之家（博客/媒体）
72°
推荐理由：华为昇腾0 Day适配智谱GLM-5.2，推理优化让长上下文编程更高效，开源模型性能比肩Claude Opus。
05:03
05:03
AWS Machine Learning Blog@Dan Ferguson
推荐理由：AWS SageMaker 异步推理现在可以直接在请求里传数据，不用先传 S3 了，省一步操作。
6月17日
04:25
04:25
AWS Machine Learning Blog@Mona Mona
推荐理由：AWS给SageMaker AI加了容器缓存，扩展时延迟直接减半，适合需要快速响应的生成式AI部署。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月6日
09:43
09:43Pandaily@contact@pandaily.com (Pandaily)
精选
推荐理由：做 AI 应用选型或部署推理服务的团队，Step 3.7 Flash 在速度和成本上的优势值得直接对比测试，可能帮你省下不少预算。
5月28日
10:33
10:33IT之家（博客/媒体）
83°
推荐理由：小米 MiMo 用架构和推理优化把 API 价格打下来，做 AI 应用开发的团队可以直接用更低成本调用高性能模型，建议关注后续技术博客。
5月26日
05:31
05:31
marktechpost@Asif Razzaq
marktechpost@Asif Razzaq72°
推荐理由：长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
5月25日
13:26
13:26
爱范儿@Selina
推荐理由：手机端跑 600 亿参数模型不再是梦，做移动端 AI 应用或关注国产技术生态的开发者，值得关注这一突破，它可能改变未来手机 AI 的玩法。