工具slug: sglang-neuron

SGLang-Neuron

将 SGLang 推理框架接入 AWS Trainium 芯片的树外插件,基于原生 PyTorch 运行

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
62 分
SGLang-Neuron 开源 支持在 AWS Trainium 上部署前沿模型

AWS 宣布 SGLang-Neuron 正式公开可用,可通过 AWS 深度学习容器获取,由 RadixArk 与 Annapurna Labs 合作发布。该插件以树外插件形式将 SGLang 接入 Trainium,底层基于原生 PyTorch,用户沿用现有 SGLang 服务接口与生成 API 即可部署模型并生成强化学习 rollout。