Google Research 推出 S2Vec:自监督框架将城市地理特征转化为通用嵌入向量
Google Research 在 Earth AI 计划下发布 S2Vec,这是一种自监督学习框架,旨在自动将复杂的建成环境(道路、建筑等)转化为机器学习可理解的通用嵌入向量。该方法取代了传统手工设计地理指标的低效流程,使模型能直接捕捉社会经济健康与环境模式等多维信息。
报道正文
本文目录8 个章节
当我们思考人工智能与地理学的关系时,往往聚焦于导航,即如何从 A 点到达 B 点。然而,建成环境——由道路、建筑、商业设施和基础设施构成的复杂网络,定义了我们的世界——所包含的信息远不止地图上的坐标。这些要素揭示了社会经济状况、环境模式以及城市发展的故事。
直到最近,将这些多样化的地理空间特征转化为机器学习(ML)模型能够理解的格式,仍是一个需要人工干预且劳动密集的过程。研究人员通常不得不为每一个想要解决的新问题手工定制特定的指标。在 Google Research,我们开发了一种新方法来弥合这一差距,这是 Google Earth AI 计划的一部分。该计划是我们一系列地理空间工作的集合,旨在利用基础模型和高级 AI 推理,将行星信息转化为可操作的智能情报。
秉承 Earth AI 的愿景,我们近期推出了 S2Vec,这是一个自监督框架,旨在学习建成环境的通用嵌入表示(即紧凑的数值摘要)。S2Vec 使 AI 能够像人类一样理解社区的特征,识别加油站、公园和住房分布的模式,并利用这些知识预测关键指标,从人口密度到环境影响。在我们的评估中,S2Vec 在社会经济预测任务中展现了与基于图像的基线模型相当的性能,特别是在地理适应性(外推)方面表现突出;但在树木覆盖率和海拔等环境任务中,仍有明显的改进空间。
挑战:超越地图上的点
地理空间数据因其多模态性和尺度差异巨大而众所周知地难以处理。一个城市街区可能包含数百个数据点(建筑物、咖啡馆、公交车站),而农村地区可能只有寥寥几个。标准的 ML 模型更偏好结构化、均匀的数据,例如照片中的像素网格。
为了应对这一挑战,S2Vec 采用了一个两步流程来对世界进行栅格化:
- S2 几何分区:我们使用 S2 Geometry 库 将地球表面划分为层级化的单元格(cells)。这使我们能够以不同的分辨率观察世界,从整个国家到几平方米的范围,并高效地查询任意位置的任意分辨率单元格。我们内部优化后的 S2 库版本可以无缝且快速地切换覆盖特定位置的单元格分辨率。
- 特征栅格化:我们不将建筑物或道路视为坐标列表,而是统计每个 S2 单元格内的特征类型,并将其排列成多层图像。如果某个单元格包含三家咖啡店和一个公园,这些特征便成为我们地理空间图像中的“颜色”。
这种转换使我们能够将建成环境的地理数据视为 AI 可以“看见”的数字照片。进而,这种栅格化处理开启了计算机视觉领域庞大且成熟的技术工具箱,而该领域已基本解决了自然图像理解的问题。
掩码自编码:无标签学习
在将建成环境转换为栅格化特征图像后,S2Vec 利用 掩码自编码 (MAE) 对其进行分析,这是一种稳健的自监督学习技术。传统机器学习依赖手工制作的标签(例如,手动标记收入水平或空气质量区域),而自监督学习消除了这一瓶颈。由于为整个地球打标签是一项不可能完成的任务,MAE 使我们无需人工标签即可挖掘全球洞察。
MAE 过程系统地让模型观察建成环境的一个“块”(patch),同时隐藏(掩码)其中的某些部分。模型随后仅根据周围上下文重建缺失的部分:
- 上下文逻辑:如果模型看到一组高层住宅楼和一个地铁站,它会学会正确预测被掩码区域可能存在一家杂货店。
- 规模效应:通过在全球范围内进行数百万次此类练习,模型学会了不同城市特征之间深层的基础关联关系。
输出结果是一个通用嵌入向量:一种独特的数学简写形式,用于捕捉地点的特征签名。这些数字串代表了地点的各项特征,为后续适配多种任务奠定了基础。
接下来,MAE 学习“填补”隐藏地图区域的空白,识别建成环境中的深层模式。这为任意地点生成了强大的数学“嵌入”,使我们能够以全球尺度和高精度预测房价、人口密度等社会经济指标。
即使未被告知什么是“金融区”或“郊区住宅区”,模型也能仅基于其特征的空间关系将它们归为一类。
评估
我们将 S2Vec 的地理空间性能与多种地理空间和基于图像的嵌入方法进行了对比,包括:SATCLIP、GEOCLIP、RS-MaMMUT、Hex2vec 和 GeoVeX。这些模型在多个地理空间回归基准上进行了评估,具体包括预测全美人口密度和中位数收入等社会经济指标,以及碳排放、树木覆盖率和海拔等环境因素。
- 损失函数:模型使用 均方误差 (MSE) 损失进行训练和调优。
- 任务类型:性能在两种设置下进行了衡量:随机训练/测试集划分(插值)和零样本地理适应(外推)。
社会经济优势
在零样本地理适应任务中,例如在未见过区域预测全美中位数收入或人口密度时,S2Vec 通常表现最佳。
多模态融合
将 S2Vec 与基于图像的嵌入相结合(多模态融合),其性能通常优于单独使用任何单一模态。
环境方面的弱点
尽管 S2Vec 在预测碳排放等环境因素方面表现具有竞争力,但结果表明,仅靠“建成环境”数据并不总是足够的。对于这类任务,当 S2Vec 与卫星图像嵌入相结合时表现最佳,因为后者能够捕捉到建筑数量可能遗漏的交通、植被和地形特征。
结论
S2Vec 代表了迈向地理基础智能的重要一步。通过创建一种可扩展的自监督方式来表示建成环境,我们正从小众的手工定制模型转向更通用的地理空间 AI 形式。
此类工作的影响是广泛的。城市规划者可以利用这些嵌入及其他类似嵌入所衍生的洞察,更好地理解基础设施变化如何影响社区健康;而环境研究人员则可以更准确地模拟快速扩张城市的碳足迹。
教会 AI “阅读”街道和建筑的“语言”,能让我们对所构建的世界获得更深入、基于数据的理解。这与我们更宏大的 Earth AI 使命相契合——即将行星信息转化为可操作的智能。这一目标得到了我们现有基础模型生态系统的支持,包括人口动态基础模型(PDFM)以及 Remote Sensing Foundations 的 RS-MaMMUT VLM 模型。这些工具共同提供了绘制和管理我们对地球影响所需的规模与精度。
致谢
我们要感谢论文的其他合著者:Iveel Tsogsuren、Chandrakumari Suvarna、Elad Aharoni、Abdul Rahman Kreidieh、Chun-ta Lu 和 Neha Arora。我们还要感谢 Pranjal Awasthi 提供的宝贵见解。