分布式推理

将模型推理任务拆分或并行部署在多个计算节点上，以突破单设备显存或算力瓶颈，提升吞吐量或处理超大模型。