#Laplace 3B

1 stories · 1 in 7 days · 1 in 30 days

KV cache 1 Trainium2 1 推理优化 1 线性注意力 1

Stories, products and papers tagged "Laplace 3B", newest first.

10月21日

Models BuildersOfficial05:37

Chinese contenti14 在 AWS Trainium2 上用原生 PyTorch 训练并部署线性注意力模型 Laplace 3B

一个 3B 的线性注意力模型，每条序列状态固定 29.5 MB，不随上下文膨胀，还全程跑在 Trainium2 上，长上下文推理的内存账很好算。

#Laplace 3B #Trainium2 #线性注意力 #KV cache

官方一手AWS Machine Learning Blog@Kevin ShabahangSource

Laplace 3B · AI news | AITOP