SenseCore Captures Nearly Half of China's Neocloud Market with 6T Daily Tokens

金磊 发自 凹非寺 量子位 | 公众号 QbitAI

很意外，但也不意外。

事情是这样的——

沙利文和头豹研究院最新发布了一个名叫**《中国全栈AI云服务市场报告2026H1》的报告，然后在Neocloud（新云）**这条赛道里，近一半的份额，竟然被同一家中国公司包揽了。

Neocloud，如其名，并非像传统的综合云厂商那样先有云再往上摞AI，它是从成立之初就与AI深度绑定的那种。

而且这条赛道在海外也是非常火热，像CoreWeave这样的明星公司，光是积压订单就顶到了1042亿美元；加之国内综合云巨头们也在全面转向AI。

而且就在今天，马斯克也来评论Neocloud赛道，但泼的却是一盆冷水。

他表示，就在过去几周，对于那些在AI数据中心之外没有可观收入的公司，债务市场几乎已经完全关上了融资的大门。颇有种马太效应的感觉：

这意味着200多家Neocloud将迎来一波大规模倒闭和兼并潮。能撑过去的会有一些，但不会多。

一边是海外Neocloud被预言将迎来一轮大洗牌，一边是国内综合云巨头在全面转向AI，在如此格局之下，一家中国公司能拿走近一半份额，所以很令人意外。

△图片由AI生成

那么这家公司到底是谁？

不卖关子，它正是商汤科技，更准确地说，是它旗下的AI基础设施平台商汤大装置（SenseCore）。

虽然Neocloud这个名字是新的，但商汤做这件事却已有多年。从服务内部AI研发，到2022年向外部客户提供云服务，再到今天自己组织大规模推理、持续供应Token，大装置的产品形态一直在变。

现如今，与其说商汤大装置是一个算力服务平台，它倒更像是一座体量持续膨胀的Token工厂。

因为在今年年初之际，商汤大装置每天服务的Token大约是4000亿；到了7月底涨到了2.42万亿；9月底，已经是6万亿的规模。按计划，今年第四季度更是要冲到日均10万亿！

△图片由AI生成

但如果了解商汤大装置背后的发展历程，你会发现，它能拿下这近一半的份额，其实也并不意外。

Neocloud咋就成新贵了？

要回答这个问题，我们不妨先回忆一下年初爆火的小龙虾（OpenClaw）。

当时小龙虾虽然热度居高不下，但却频频曝出诸如此类的消息：

有位IT从业者让小龙虾帮忙搜资料、写一份2000字的Word文档，结果来回一折腾，700万Token就没了……

之所以这么能烧Token，是因为现在Agent做任务并非是一问一答的模式，它需要自行去拆解任务、查阅资料，然后反复确认执行，每一步都在消耗着Token。

正如沙利文在报告中指出的那样，在Token生成速度相同的情况下，Agentic AI对算力的要求比传统大模型高出10倍以上。

△图片由AI生成

而这个数字放到全国范围来看只会更加夸张，例如根据国家数据局的统计，今年3月我国日均Token调用量已经超过140万亿，两年时间涨了一千多倍。

据商汤大装置CTO宣善明回忆，去年一整年，大家几乎都在忙着训模型；到了今年春节前后，小龙虾带火了Agent，再加上国产模型和海外头部模型的差距明显缩小，Token需求一下子就起来了。

需求变的不只是量，还有方向。

此前，大模型的主战场在训练，大家拼的是谁的集群更大、算力更多。而当AI工作负载从训练扩展到推理和Agent应用，客户关心的东西也跟着变了，单位Token成本、推理延迟、模型部署效率、多种负载能否灵活调度，开始比单纯能租到多少算力更重要。

换句话说，算力生意的计量单位，正在从“Flops”变成“Token”。

Neocloud正是在这波变化里成了新贵。和综合云厂商先有云、再把AI能力一层层加上去不同，Neocloud从一开始就只为AI服务。用商汤大装置产品总经理卢国强的话说，前者是“云+AI”，后者是“AI+云”。

据Synergy Research统计，2025年全球Neocloud市场规模已达到250亿美元，预计到2031年将逼近4000亿美元。

△图片由AI生成

不过，同样叫Neocloud，海外和中国走的却是两条完全不同的路。

以CoreWeave为例，它是“挖矿”起家，手里本来就攒着一大批高端GPU，借着大模型训练的东风顺势转型，主要生意是把成规模的高端算力租给模型公司和科技巨头。

这种模式重资产，扩张高度依赖融资，一旦资本环境收紧，压力很快就会传导过来，这也是马斯克预言200多家Neocloud里能活下来的不多的原因。

此外，海外Neocloud目前更多面向AI训练，在推理层相对薄弱，而商汤大装置和它们最大的不同，在于两点。

第一是推理层能力，也就是把复杂、多元的算力，持续转化成低成本、稳定的Token的能力，这恰恰是Agent时代客户最需要的。

第二是国内的算力环境。高端GPU供给有限，国产芯片这几年虽然发展很快，华为、平头哥、寒武纪等厂商都拿出了各自的产品，但路线多元、长板各异，软件生态也还在逐步成熟，算力整体呈现出碎片化的特点。

这两个前提叠在一起，中国Neocloud要解决的不仅是有没有卡，而是怎么把不同的芯片、不同的模型和不同的客户需求，拧进同一套能稳定跑起来的系统里，并且让每一个Token都足够便宜。

这件事，商汤大装置早早便开始布局。宣善明提到，他们2018年就开始做各种国产芯片的适配和调优，几乎所有主流国产芯片的集群都摸过一遍。每款芯片擅长什么、最适合放在哪个环节，都是一款一款试出来的。

从一张卡算到一度电

有了这两个前提，我们再来看商汤大装置的打法，就会清楚很多。

它做的并非是单点的算力出租，而是一套“算力-平台-方案-服务”的端到端系统化能力。向下，它连接电力、储能、AIDC和异构硬件；向上，它连接模型、应用与行业，目标是帮企业以更高的投入产出比，把AI真正转化成价值。

这套体系里，最能体现中国Neocloud特色的有两件事，一是异构混推，二是算电协同。

先说异构混推。面对长板各不相同的国产芯片，商汤大装置采用的核心方法是PD分离（Prefill-Decode Disaggregation）。

所谓PD分离，我们可以理解为大模型在回答问题时分了两个步骤。先是“读题”，一口气读完输入，叫Prefill，主要吃算力；再是“写答案”，逐字往外生成，叫Decode，更看重显存带宽。

△图片由AI生成

既然两步对硬件的要求不一样，PD分离就把它们拆开，交给不同的芯片去做。国产卡负责读题，高端GPU负责写答案，中间再通过KV Cache把“读题笔记”传过去。

如此一来，国产卡的长处被用足了，短处也不再拖后腿。

这背后，是商汤大装置多年摸索出来的一套思路。宣善明说，他们从2018年起就和国产芯片打交道，很清楚每款芯片哪一点是长处、哪一点是短处，也知道哪些短处在某些场景里其实并不受影响。

比如在PD分离里，国产卡只负责Prefill，那么只要它的算力够用，其他方面都不必苛求，团队要做的，就是把“用国产算力跑Prefill”这一个点上的技术难点全部攻克。

也就是说，不必等一款国产卡在各个维度上都追平高端GPU才去用它。不少在外界看来投入产出比不高的国产卡，放进这套分工里，反而能撬动高端GPU的产出，让整体Token产能成倍放大。

据商汤大装置给出的数据，这套方案的整体推理性价比已经达到主流高端GPU的1.25倍。

当然，这种分工也有边界，超长上下文这类请求，目前仍由高端GPU来兜底，以保证服务质量。

方案跑通之后，商汤大装置已经在看下一步。宣善明提到，目前他们重点关注两个方向。

一个是跨域PD分离，也就是把PD“拉远”，比如在A城市做Prefill，在B城市做Decode。现在各地都在建智算中心，其中不少存量的国产算力闲置着，用不起来。如果能把它们和其他地区的算力连起来，这些资源就能被盘活。

这在以前是不敢想的。宣善明说，得益于模型架构的变化，传输的数据量在过去几个月里大幅下降，再加上通信技术上的提升，跨域PD分离才有了可能。当然，也不是所有请求都适合往远处送，哪些需要本地立刻处理、哪些可以交给远程，都要先做分类。目前，这项技术仍处于验证阶段。

另一个是AF分离，也就是在PD分离的基础上，把模型内部的Attention和FFN计算也拆开，交给各自更合适的硬件。在宣善明看来，这个方向整个行业都还处于预研阶段，因为它离不开硬件层面的支持，只做软件意义不大，所以商汤大装置也在和硬件厂商联合推进。

无论是哪个方向，很多问题都“只有当你真的去做了大规模异构的时候，才会发现”。商汤大装置SenseCore平台负责人陈希也提到，从网络流控到KV Cache的传输，任何一个环节没调好，都会影响整个集群的表现，“同样一套代码、同样的硬件配置，放到另外一家，可能就跑不出这种效果”。

再来看算电协同。对Neocloud来说，电费是一笔绕不开的账单。

对此，商汤大装置的应对办法，是今年WAIC上发布的算电协同Agent。它联动能源大模型和宁德时代储能系统，每15分钟预测一次，每5分钟修正一次，来决定哪些任务现在跑、哪些往后挪一挪；同时动态调整储能在不同时段的充放电策略，在不影响任务SLA、不增加额外超容成本的前提下，协同优化算力负荷与用电成本。

△图片由AI生成

简单来说，这个思路和我们赶在谷电时段开洗衣机差不多。离线推理、模型评测这类任务，挪到电力负荷低的时候跑，储能系统则像一个巨型充电宝，在电价低时充电，电价高时放电。

今年7月上海电网发起需求响应时，临港数据中心在两小时内让出了75%的用电容量，平时的用电大户，在关键时刻成了电网可以调用的弹性容量池。

这样算下来，单位电力成本的Token产出提升了80%，平均电费比同地区IDC低10%。商汤还顺势提出了一个新指标TPW（Tokens Per Watt），和只关注机房省不省电的PUE不同，它衡量的是每瓦电到底换来了多少有效Token。

算力和电费的账都算明白了，Token也越造越多。那么接下来的问题就是，这些Token有没有人用，能不能真正用到业务里。

还得让Token走进产业一线

商汤大装置的Token工厂除了服务商汤自家的模型，已经为多家外部基础模型厂商提供服务。

宣善明把这比作“批发服务”。相比于“零售”，批发单笔可能赚得少一些，但能直接对接“原厂”，并依靠长期信誉、技术能力和稳定交付建立竞争力。先把头部基模厂商服务好，口碑立住了，再去谈大客户时，对方自然相信你供的货是真的，不掺水。

不过，把Token卖给模型厂商是一回事，让AI真正进入各行各业又是另一回事。

如今AI落地已经进入深水区。模型能力越来越强，可要真正接进企业的实际生产流程，难度远比想象中大，不少行业都面临着“有模型，用不起来”的尴尬。

这也是商汤大装置做FDE的原因。面对行业客户，商汤大装置会派出FDE（前线部署工程师）驻场，和客户一起梳理需求、调模型、推动上线。按照商汤大装置TokenHub总监周明骏的说法，FDE既不像网上传的那么神，也不是传统意义上的外包。

以上海市规划资源局量子城市项目为例，城市规划资源管理涉及大量地图、规划图纸、统计数据和专业报告，不同业务之间信息复杂、专业门槛也很高。他们希望AI不只是能够回答政策和业务问题，还能真正理解地图和规划图纸，完成空间分析、数据统计，并辅助专业报告生成。

商汤大装置与上海市规划资源局共同打造了全国规划资源领域首个基础大模型——“云宇星空大模型”。模型拥有6000亿参数，并深度嵌入规划资源业务流程，具备“问不倒、能调图、会统计、能识图、会报告”等能力，能够覆盖从知识检索、图纸理解、空间分析到决策支撑的完整工作流程。

围绕这类项目，商汤总结出一套“AI123”交付法则，1天澄清需求，2天产出Demo，30天稳定版本上线。周明骏说，这个速度并不是喊出来的，背后靠的是提前沉淀好的AI中台和多模态数据处理管线。

那么FDE这种模式，会不会让商汤大装置变成一家系统集成商呢？

宣善明表示，FDE深入业务一线，“全程陪伴”客户，把标杆案例快速做出来，再沉淀成标准产品，“我们不希望是一个人力密集型的企业”。

除此之外，效率这个词，也是在与商汤大装置团队交流过程中，被反复提到的关键词。

根据沙利文的判断，未来三年，AI全栈云厂商会从资源竞赛进入效率与生态竞赛。宣善明打了个比方，以前做训练算力有点像房地产，卡买进来、租出去，每个月收一份固定回报；现在做Token，回报的波动非常大，可能亏本，也可能赚得特别多，拉开差距的就是效率。

所以，现在我们回头再看这次商汤大装置拿下近一半份额的成绩，可以明显看到，它并不是靠把卡堆满机房堆出来的。

从2018年开始一款一款地适配国产芯片，到用PD分离让不同芯片各司其职，再到算清每一度电能换来多少Token，这么一看，也就不意外了。

而对于接下来的方向，宣善明表示，他们会把更多的精力和资源放在国产芯片上，和国产芯片、国产生态一起往前走。

此刻，临港机房里那一排排国产卡，大概正在替某个Agent读题。