端侧大模型

经过量化或剪枝优化后，直接在移动设备本地芯片上运行推理的大语言模型，无需依赖云端服务器即可提供低延迟、高隐私保护的 AI 服务。