返回热点榜
opensource热度 13.2°

AI 聚合热点事件 · 2026/11/18

开源推理引擎 TrnRT 让 AWS Trainium 跑大模型

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/18 00:01:04
全景综述与最新动态
1 家信源交叉印证

runanywhere.ai 发布开源推理引擎 TrnRT,可在单台 trn2.48xlarge 上以 OpenAI 兼容 API 服务大模型,解码阶段采用 NKI 层内融合 megakernel,并支持 100 万 token 上下文与跨设备/主机的 radix 前缀缓存。首个支持模型为 GLM-5.3-Flash,团队同时公布了基于 AgentX 编码基准的实测结果。

最新动向/runanywhere.ai 发布开源推理引擎 TrnRT,可在单台 trn2.48xlarge 上以 OpenAI 兼容 API 服务大模型,解码阶段采用 NKI 层内融合 megakernel,并支持 100 万 token 上下文与跨设备/主机的 radix 前缀缓存。首个支持模型为 GLM-5.3-Flash,团队同时公布了基于 AgentX 编码基准的实测结果。

逐小时热度走势

7 个完整观测小时
当前
13.2
峰值
15.202:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. Hacker News AIT2·72 分

    开源推理引擎 TrnRT 让 AWS Trainium 跑大模型

    原标题:Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

    • 单台 trn2.48xlarge 部署两个张量并行引擎,各覆盖 32 个逻辑 NeuronCore,前置会话亲和路由
    • 解码以 NKI megakernel 实现,每半层一个融合内核,涵盖 KDA 注意力、融合 DSA 层、mHC 与 MoE FFN
    • 前缀缓存基于 FP8 KV 页的 radix 树,并设主机内存层存放被驱逐页与状态检查点