AWS Machine Learning BlogT1·算力与基建
62 分
AWS 宣布 SGLang-Neuron 正式公开可用，可通过 AWS 深度学习容器获取，由 RadixArk 与 Annapurna Labs 合作发布。该插件以树外插件形式将 SGLang 接入 Trainium，底层基于原生 PyTorch，用户沿用现有 SGLang 服务接口与生成 API 即可部署模型并生成强化学习 rollout。
公司slug: annapurna-labs
Annapurna Labs
亚马逊旗下芯片研发机构，负责 Trainium 与 Inferentia 等自研 AI 加速器
收录情报动态
SGLang-Neuron 开源 支持在 AWS Trainium 上部署前沿模型