Google 推出 Groundsource:用 Gemini 将新闻转为灾害数据

原标题:Introducing Groundsource: Turning news reports into data with Gemini
68AI 研判分

Google 发布 Groundsource,一种利用 Gemini 模型将全球非结构化新闻报道转化为可验证历史数据的可扩展方法论。首个开源数据集包含 260 万条城市洪水记录,旨在为气候研究和灾害预警提供高精度的历史基线支持。

报道正文

本文目录4 个章节

今天,我们推出 Groundsource——一种全新的可扩展方法论,利用 Gemini 将非结构化的全球新闻转化为可操作的、历史性的数据。我们的首个开放获取的 Groundsource 数据集聚焦于城市山洪暴发,包含 260 万条记录,为更精准、挽救生命的预测奠定了基础。

自然灾害持续威胁着全球人口和经济。每年,它们影响数百万人,并造成数十亿美元的直接损失。为了推进气候研究,并最终向社区提供关于自然灾害的充分预警以保障安全,建立稳健的历史基准至关重要。历史数据使世界各地的科学家能够通过水文建模和基于实证证据验证前瞻性预测,从而更好地减轻灾害风险。历史记录也为从城市规划到保险及应急响应等实际应用提供了依据。

正因如此,今天我们正式推出 Groundsource —— 一个从非结构化数据中提取经过验证的地面真值(ground truth)的可扩展框架,使我们能够以前所未有的精度绘制灾害的历史足迹。我们首先使用这一方法创建了一个独特的全球山洪数据集,涵盖 260 万 起历史洪水事件,跨越 150 多个国家。我们将此山洪数据集开放共享,旨在提供一个可靠的高质量数据源,助力城市地区山洪的建模与预测。同样的方法论也可潜在应用于构建其他灾害的历史数据集,以加速全球危机韧性建设。

挑战:全球数据稀缺

虽然某些自然灾害(如地震事件)通过统一的全球传感器网络进行追踪,但洪水等水文气象灾害却缺乏标准化的观测基础设施。长期以来,由于缺乏用于模型训练和验证的高质量全球历史数据,山洪暴发的准确预测受到严重阻碍。这种“数据荒漠”构成了关键挑战。

现有的档案库,例如基于卫星的 全球洪水数据库 (GFD) 和 达特茅斯洪水观测站 (DFO),提供了宝贵的淹没范围数据,但面临着云层干扰、卫星重访周期以及往往只能捕捉大规模、持续性灾害等物理局限性。全球灾害警报与协调系统 (GDACS)——一项由联合国和欧盟委员会联合发起、旨在监测人道主义影响的倡议——提供了包含约 10,000 条记录的重要数据清单,但其主要关注点在于高影响事件。

虽然 10,000 条记录看似数量可观,但与训练和验证全球规模 AI 所需的数据量相比,这不过是杯水车薪。数据稀缺对于局部性或快速移动的灾害(如山洪暴发)尤为棘手,因为这些事件在传统灾害数据库中往往未被记录,导致构建能在全球范围内可靠运行的预测模型几乎是不可能的。

Groundsource:利用 Gemini 将新闻报道转化为数据

为应对这一全球数据稀缺问题,Groundsource 通过分析现有的新闻报道来整理洪水详情,并将公共信息转化为一个结构化的本地化事件档案库,覆盖超过 150 个国家,时间跨度从 2000 年至今。Groundsource 的核心创新在于其能够利用先进 AI 从全球新闻媒体中提取信号。

关于历史事件的无结构化数据非常丰富——包括新闻文章、政府报告和当地公告——但手动大规模提取这些信息是不可能的。我们的方法论专注于分析以洪水为主要主题的新闻报道。随后,我们使用 Google Read Aloud 用户代理 从 80 种语言中分离出正文文本,并通过 Cloud Translation API 将其标准化为英语。

提取过程中最关键的一步是使用 Gemini 大语言模型 (LLM)。我们设计了一个复杂的提示词,引导 Gemini 执行严格的分析验证流程:

  • 分类: 模型能够区分关于_实际发生、正在进行或过去_的洪水报道,与仅讨论未来预警、政策会议或一般风险建模的文章。
  • 时间推理: Gemini 以文章发布日期为基准锚定相对引用(例如“上周二”),从而确定事件的精确时间。
  • 空间精度: 系统识别细粒度位置(社区和街道),并使用 Google Maps Platform 将其映射到标准化的空间多边形。

Groundsource 的技术验证确认了其在高风险研究中的可靠性。在人工审核中,我们发现 60% 的提取事件在位置和时间上均准确无误。关键在于,82% 的事件准确度足以在实际分析中发挥作用——例如,正确捕捉行政区域或将事件定位在其报道峰值的单日范围内。

Groundsource 提供的覆盖范围代表了相对于现有档案的大规模扩展。通过将非结构化媒体转化为数据,我们生成了 260 万个事件——与传统监测系统记录的条目相比显著增加。此外,时空匹配显示,Groundsource 捕获了 GDACS 在 2020 年至 2026 年间记录的严重洪水事件的 85% 至 100%,这证明了其在识别高影响灾害以及较小规模局部事件方面的有效性。

影响:实现更好的自然灾害预测

通过利用这些丰富的结构化数据,我们实现了在事件发生前长达 24 小时提供近乎全球范围的城市山洪预报的能力。目前,我们正在 Google 的 Flood Hub 中推出这些预报,极大地拓展了 Google 的洪水覆盖范围。

这项工作加入了我们的 Google Earth AI 地理空间模型和数据集家族,展示了在危机韧性领域的科学领导力,证明 LLM 可以系统性地将世界的“非结构化记忆”——即新闻——转化为稳健的科学基线。此外,这种方法论有潜力被应用于解决其他缺乏精确历史记录的自然灾害的数据缺口问题,如干旱、滑坡和雪崩。

通过将全球新闻转化为可操作的数据,我们不仅是在记录过去,更是在构建一个更具韧性的未来。目前,我们正在优化模型,努力扩大对更多农村地区的覆盖范围,并整合新的数据源。展望未来,我们将把这一方法应用于其他灾害类型——在这些领域,由于缺乏地面真值数据,危机传统上难以预测。我们正致力于实现这样一个未来:没有任何社区会被自然灾害打个措手不及。

致谢

许多人为这项工作的开发做出了贡献。我们要特别感谢:Amitay Sicherman、Avinatan Hassidim、Deborah Cohen、Frederik Kratzert、Gila Loike、Grey Nearing、Ido Zemach、Juliet Rothenberg、Moral Bootbool、Oleg Zlydenko、Oren Gilon、Reuven Sayag、Rotem Mayo、Shmuel Fronman、Yonatan Nakar 和 Yossi Matias。