AWS Machine Learning BlogT1·算力与基建
62 分
AWS 宣布 SGLang-Neuron 正式公开可用,可通过 AWS 深度学习容器获取,由 RadixArk 与 Annapurna Labs 合作发布。该插件以树外插件形式将 SGLang 接入 Trainium,底层基于原生 PyTorch,用户沿用现有 SGLang 服务接口与生成 API 即可部署模型并生成强化学习 rollout。
将 SGLang 推理框架接入 AWS Trainium 芯片的树外插件,基于原生 PyTorch 运行
AWS 宣布 SGLang-Neuron 正式公开可用,可通过 AWS 深度学习容器获取,由 RadixArk 与 Annapurna Labs 合作发布。该插件以树外插件形式将 SGLang 接入 Trainium,底层基于原生 PyTorch,用户沿用现有 SGLang 服务接口与生成 API 即可部署模型并生成强化学习 rollout。