Hacker News AIT2·开源与评测
72 分
runanywhere.ai 发布开源推理引擎 TrnRT,可在单台 trn2.48xlarge 上以 OpenAI 兼容 API 服务大模型,解码阶段采用 NKI 层内融合 megakernel,并支持 100 万 token 上下文与跨设备/主机的 radix 前缀缓存。首个支持模型为 GLM-5.3-Flash,团队同时公布了基于 AgentX 编码基准的实测结果。
专注跨硬件 LLM 推理部署的团队,TrnRT 的开发者
runanywhere.ai 发布开源推理引擎 TrnRT,可在单台 trn2.48xlarge 上以 OpenAI 兼容 API 服务大模型,解码阶段采用 NKI 层内融合 megakernel,并支持 100 万 token 上下文与跨设备/主机的 radix 前缀缓存。首个支持模型为 GLM-5.3-Flash,团队同时公布了基于 AgentX 编码基准的实测结果。