批量推理

在一次计算过程中同时处理多个输入或针对同一输入执行多个预测任务的优化技术，旨在提高GPU利用率并降低单位成本。