请求队列

暂存待处理推理请求的数据结构，用于平滑流量峰值