#加速推理

共 3 条 · 7 天 0 条 · 30 天 0 条

Amazon EKS 1 DARTree 1 Ray 1 SageMaker 1 分布式训练 1 扩散模型 1 推测解码 1 自回归模型 1

信息流里打上「加速推理」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月25日

产品官方一手精选03:48

SageMaker HyperPod新增Ray功能

SageMaker HyperPod新增Ray支持，让分布式训练和加速推理更简单，值得一试。

#SageMaker #Ray #Amazon EKS #分布式训练

官方一手AWS Machine Learning Blog@Nilesh PS原文

8月14日

DARTree：用自回归草稿树实现推测性扩散解码

这论文搞了个叫DARTree的采样方法，不用训练就能让模型跑得更快，最多比原来快9倍多，数学和代码任务上都有效。

#DARTree #推测解码 #扩散模型 #自回归模型

arXiv cs.LG@Tianyi Li 等 4 人原文

6月26日

模型精选11:01

Next-Latent Prediction：让Transformer学会预测隐状态，推理加速3.3倍

Transformer预测隐状态而不是token能加速3.3倍，还能形成世界模型。Jayden Teoh的新框架值得看看。

#NextLat #Transformer #推理模型 #自监督学习

AI Will@FinanceYF5原文