返回全部资讯
IT之家 · 智能时代T2·算力与基建

高通 AI200 推理加速器启动客户云上评估

原标题:高通携手 Cirrascale,启动自家推理加速器 AI200 客户评估
58AI 研判分

高通联合 AI 私有云企业 Cirrascale,向部分客户开放其首款机架级推理方案 Dragonfly AI200 的云上评估。单卡配备 768GB LPDDR5X 内存,140kW 液冷机架集成 56 卡、总内存 43TB、带宽 0.414 PB/s,主打单机架承载 10T 级超大模型推理并降低总持有成本。

报道正文

IT之家 11 月 20 日消息,Qualcomm(高通)当地时间本月 17 日宣布,其携手 AI 私有云企业 Cirrascale,向部分客户开放 Dragonfly(飞龙)AI200 推理加速器的评估。客户可通过云环境探索其 AI 工作负载在该芯片上的表现。

高通携手 Cirrascale,启动自家推理加速器 AI200 客户评估

Dragonfly AI200 是高通的第一款机架级人工智能解决方案,单卡配备 768GB LPDDR5X 内存,支持 PCIe Gen6 纵向扩展、RoCE 横向扩展。

其每个 140kW 液冷 ORv3 机架由 56 卡组成,总内存达 43TB,提供 0.414 PB/s 内存带宽,可在单一机架中运行 10T 级超大模型的推理,提供更低的总持有成本。