AWS Machine Learning Blog· Kevin Shabahang·· 20 天前精选AI 评分70
i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB，在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由
展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节，为长上下文场景提供了可复用的部署参考。
来源：AWS Machine Learning Blog · aws.amazon.com