推理成本优化

通过量化、缓存、批处理或选择更轻量级模型等手段，降低大语言模型生成单位 Token 的计算资源消耗与费用。