Cloudflare Redesigns D1 Control Plane to Scale to Millions of Databases

By Renato LosioOriginal title: Cloudflare 重构 D1 控制平面,支持数百万数据库规模
68AI Score

Cloudflare has redesigned the control plane of its SQLite-based serverless database D1, splitting transactional metadata, analytics and globally replicated routing across Postgres, ClickHouse and Workers KV so that query processing stays at the edge and is decoupled from centralized management. The new architecture adds heartbeat reconciliation, idempotent retries and eventual consistency to auto-repair inconsistent states left by failed create or delete operations, supporting an active database base that grew 18x over the past year.

Full Report

Cloudflare 近日发表了一篇文章,介绍其如何重新设计无服务器 SQL 数据库 D1 的控制平面,以支持数百万个数据库。此次重构是为避免集中式架构中的性能瓶颈,同时引入重试机制、幂等性保障和最终一致性。

D1 的控制平面架构围绕三种存储系统构建:使用 Postgres 存储事务性元数据,使用 ClickHouse 进行分析,使用 Workers KV 存储全球复制的路由数据。该架构将查询处理保留在边缘节点,与集中式管理操作分离,并通过分布式元数据缓存、连接池、异步工作流和定期健康检查提升可扩展性,同时增强故障恢复能力。

Cloudflare D1 于2022 年首次发布?,是一款基于 SQLite 构建的无服务器 SQL 数据库,可运行于 Cloudflare 全球网络中,尽可能地靠近应用程序。过去一年,其每日活跃数据库数量增长了 18 倍。

Cloudflare 使用 30 秒一次的心跳机制,并为每个数据库引入随机时间偏移(jitter),使每个 D1 Durable Object 定期与 Postgres 进行状态核对。Postgres 是数据库是否存在以及账户配额的事实来源。这一机制能够自动修复创建或删除操作失败后留下的不一致状态:孤立的 Durable Object 会被标记为已删除;如果尽力而为的更新操作失败,Workers KV 中的路由元数据也会得到修复。

Cloudflare 全栈软件工程师 David Laban 和首席工程师 Lambros Petrou 写道:

心跳机制可以容忍数据存在轻微延迟,因此相关数据可以通过 Hyperdrive 的多层缓存或 Postgres 只读副本提供。借助这一心跳流程,Durable Object 能够自动修正自身状态,使其反映事实来源(Postgres)中记录的数据库创建和删除情况。

Cloudflare 通过将查询请求从 Edge API Worker 转发至 Eyeball Worker,再直接路由到对应的 D1 Durable Object,避免让 D1 查询经过集中式 Postgres 数据库。

Edge API Worker 负责身份认证、授权、速率限制和请求验证,而 Eyeball Worker 则信任 D1 Bindings 中编码的、针对特定数据库的授权信息,从而避免在查询路径上执行重复的权限检查。

Laban 和 Petrou 进一步解释道:

大家可能会问,既然已经有 Hyperdrive Caching,为什么还要使用 Workers KV?这是因为 Workers KV 是一种持久化数据存储,而不仅仅是缓存:如果某个条目从 KV 的边缘缓存中被逐出,读取请求会由 KV 自身的存储层提供服务,而不是回源到 Postgres,从而确保 Postgres 不会进入数据平面。如果发生灾难性的缓存清除事件,数百万个数据库同时尝试获取路由信息,就可能导致系统出现亚稳态故障(metastable failures)。

在 D1 存储配额管理方面,Cloudflare 采用异步用量更新机制:用量更新请求先进入队列,再批量处理,以避免突发写入给 Postgres 带来过大压力。系统通过增量存储变化量(storage deltas)维护预聚合的账户存储总量,避免在拥有数百万个数据库的账户上执行成本高昂的全量扫描,同时减少写入竞争。Durable Objects 通过 Hyperdrive 的短期缓存检查账户存储总量,并阻止可能导致账户超出存储配额的写入操作。

在一篇 Reddit 讨论中,用户 isaackogan 评论道:

毫无疑问,这是一个令人印象深刻的架构。不过,这些性能提升中,大部分源自它本质上是一个运行在进程内、部署于靠近用户的边缘存储上的数据库。其余部分则是围绕它构建的编排机制。Cloudflare 可以利用其庞大的全球数据中心网络,实现一些传统上小型企业根本无法做到的事情。这就是规模经济发挥作用的地方。

此前,在一篇热度较高的 Reddit 讨论中,多名 Reddit 用户曾质疑 D1 的可靠性,并对其在生产工作负载中的可用性和稳定性表示担忧。

Cloudflare D1 提供永久免费套餐,包含 5 GB 总存储空间、每天 500 万行读取额度和每天 10 万行写入额度。超出免费额度后,存储费用为每 GB 每月 0.75 美元;读取费用为每百万行 0.001 美元;写入费用为每百万行 1 美元。D1 不收取计算费用或数据传输费用。