Hacker News AIT2·72 分
开源推理引擎 TrnRT 让 AWS Trainium 跑大模型
原标题:Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
- 单台 trn2.48xlarge 部署两个张量并行引擎,各覆盖 32 个逻辑 NeuronCore,前置会话亲和路由
- 解码以 NKI megakernel 实现,每半层一个融合内核,涵盖 KDA 注意力、融合 DSA 层、mHC 与 MoE FFN
- 前缀缓存基于 FP8 KV 页的 radix 树,并设主机内存层存放被驱逐页与状态检查点