谷歌发布 SensorFM:可穿戴健康数据通用基础模型

原标题:SensorFM: Towards a general intelligence and interface for wearable health data
78AI 研判分

谷歌推出 SensorFM,旨在解决可穿戴设备数据因个体差异大、标注稀缺而难以泛化的问题。该模型通过自监督学习构建通用健康表征,支持自动专业化并作为个人健康智能体(Personal Health Agent)的核心接口,实现从原始生理信号到个性化预防医疗的跨越。

报道正文

本文目录7 个章节

据估计,目前已有数十亿台可穿戴设备投入使用,它们能够精确追踪心率、运动量、皮肤温度、血氧水平以及睡眠状况,数据覆盖天数、周数乃至月数。这种连续且纵向的生理与行为数据流,为预防性个性化健康提供了最具前景的原始素材之一。然而,将这些底层信号转化为有意义的洞察仍然困难重重。首先,个体的基线生理状态、生活方式和健康状况差异巨大,因此对某一人而言预示风险的模式,在另一人身上可能并不适用。其次,训练模型所需的标签——如确诊结果、实验室检测数据、经过验证的问卷——收集成本高昂、耗时漫长,且几乎无法进行回顾性采集。因此,大多数可穿戴健康模型都是针对单一结局指标构建的,采用定制的监督式流水线,仅瞄准狭窄的终点指标,难以在人类健康的广泛领域实现泛化。

在《迈向可穿戴健康数据的通用智能与接口》一文中,我们采取了不同的方法。我们推出了 SensorFM,这是一个大型传感器基础模型(Large Sensor Foundation Model),它直接利用人口规模级的无标注可穿戴数据进行学习。SensorFM 基于来自五百万名已获同意参与者的超过一万亿分钟的多模态传感器信号进行预训练,从而学习出一种单一、可复用的感知人体生理表征——该表征可迁移至心血管、代谢、睡眠和心理健康领域,同时也涵盖生活方式和人口统计学因素。据我们所知,这是迄今为止用于训练模型的最大且最多样化的可穿戴数据集。

从一万亿分钟的传感器数据中学习

为了构建预训练语料库,我们从五百万名已同意将其数据用于健康与福祉研究的人群中采样了去标识化数据,这些数据捕获于 2024 年 9 月至 2025 年 9 月之间。该数据集覆盖 100 多个国家、美国全部 50 个州,以及超过 20 种 Fitbit 和 Pixel Watch 设备型号。我们从每个人那里提取了数周的数据,总计产生超过二十亿小时——即超过一万亿分钟——的分钟级分辨率信号。

SensorFM 摄取源自五种传感器模态的 34 个一分钟聚合特征:光电容积脉搏波(PPG)、加速度计、皮肤电活动(EDA)、皮肤温度和高度计。这些特征共同捕捉了完整 24 小时窗口内的心率及心率变异性、血氧饱和度、睡眠阶段、运动与步数、皮肤电导以及温度。

SensorFM 不依赖标签,而是通过自监督重建进行学习,其基础是 LSM-2 方法及其自适应与继承掩码(Adaptive and Inherited Masking, AIM)框架。这是一个关键的设计选择,因为缺失和碎片化数据(例如某些时间段的数据不可用)在可穿戴设备中是常态,由多种因素引起,如传感器的电源循环、设备脱离手腕、省电运行模式以及传感器的开关切换。传统的自监督方法假设输入是完整且不间断的,因此被迫要么填补缺口(这可能引入偏差),要么丢弃不完整的窗口(这会浪费宝贵数据)。AIM 不走这两条路:它将现实世界中的缺失视为一种自然伪影,并直接从不完整的记录中学习,将来自真实缺口的“继承”令牌与为重建目标而“人工”掩码的令牌相结合,并将两者同等对待。由此产生的表示在构造上就是感知缺失性的。SensorFM 不仅容忍碎片化数据,还有效地利用它,如下文生成结果所示。

模型与数据同步扩展带来回报

对于任何基础模型而言,一个核心问题是规模是否能转化为能力。我们进行了一系列系统的缩放实验,涵盖预训练数据量(从约 200 万到 20 亿传感器小时)和模型大小(从 10 万到 1 亿参数)四个数量级的范围。

其结果呈现出一个清晰且令人鼓舞的信号:随着数据量和模型容量的增长,预训练损失可预测地下降;而关键在于,这些增益能够迁移到下游的健康任务中。在包含五百万人的完整语料库上训练的最大模型(SensorFM-B),相较于最小变体,将重建损失降低了 31%,并在下游任务中平均提升了 9% 的性能(分类任务的 AUC)和 21% 的性能提升(回归任务的 Pearson Coefficient)。

最大的改进来自于同时扩展这两个维度。按比例增加数据和容量,能在生成式预训练和判别式下游性能两方面带来近乎线性的增益——且曲线并未显示出饱和迹象。在各模型变体中,SensorFM-B 在 35 项任务中的 33 项上取得了胜利。

一种表征,覆盖多个健康领域

为了测试所学表征的实际通用性,我们在来自三项独立、经机构审查委员会(Institutional Review Board)批准的前瞻性研究中的 35 项判别式健康任务上评估了 SensorFM,这些研究总共涉及 13,985 名参与者。这些任务涵盖六个类别:心血管健康、代谢风险、心理健康、睡眠、人口统计学特征以及生活方式。

为了直接探究嵌入(embeddings)的质量,我们保持 SensorFM 编码器冻结,仅在其之上训练一个轻量级的线性头(linear head)——然后与基于工程化特征训练的有监督基线模型进行比较。以下是我们的发现:

  • 广泛泛化能力: 在 SensorFM 嵌入上进行的线性探针测试,在 35 项任务中的 34 项上均优于基于特征工程的监督基线,且无需任何特定任务的架构。
  • 隐式学习生理特征: 添加人口统计学特征(如年龄、性别等)仅带来适度的性能提升——但随着模型规模的扩大,这种提升逐渐缩小,这表明更大的模型在预训练过程中已隐式地捕捉到了具有生理相关性的特征。
  • 在难以测量条件下的优势: 规模化预训练对于抑郁症和焦虑症等条件尤为宝贵,这些状况因人而异,且在传感器数据中仅留下微弱的痕迹。SensorFM 似乎能够学习到通常掩盖此类信号的个体差异,并提取出跨人群通用的模式。
  • 标签效率: 仅需少量带标签的样本,SensorFM 便能迅速超越仅依赖人口统计学特征的基线和基于特征工程的基线——这一特性在高质量标签稀缺的医疗健康领域至关重要。

构建预测头的智能体“课堂”

通用嵌入的价值取决于适配它所需的努力程度。传统上,要将嵌入转化为针对每个新端点的强大预测器,需要手动进行特征工程、架构选择和超参数调整——随着任务数量的增加,这项繁琐的工作变得愈发困难。

为了实现自动化,我们构建了一个智能体“课堂”:一组相互协作与竞争的 LLM 智能体,通过迭代生成、测试和优化可执行代码,在 SensorFM 嵌入之上构建预测头。在我们的实验中,该系统探索了超过 30,000 个候选解决方案。

由智能体设计的预测头在 20 项分类任务中的 16 项以及 15 项回归任务中的 12 项上,表现优于简单的线性探针。有两个显著规律脱颖而出:解决方案的质量随搜索过程单调提升,并且与底层 LLM 的能力呈正相关——更强大的模型(如较新版本的 Gemini)能产生更好的解决方案,而智能体间的协作有助于能力较弱的模型缩小差距。

为个人健康智能体提供基础支撑

最后,我们探讨了 SensorFM 是否具有端到端的实用性——即作为将 AI 健康教练建立在个人自身生理数据基础上的工具。我们将 SensorFM 集成到一个个人健康智能体中,并比较了从 31 份真实参与者档案生成健康摘要的三种条件:

[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]

  1. Demographics + daily wearable metrics + SensorFM predictions
  2. Demographics + daily wearable metrics + ground-truth measurements
  3. Demographics + daily wearable metrics only (baseline)

A panel of clinicians, blinded to condition, rated the resulting summaries across five rubric dimensions — context, relevance, justifiability, personalization, and potential for harm — producing 1,860 ratings over more than 40 hours of expert evaluation. The findings are striking. Adding SensorFM predictions significantly improved responses over the baseline on every rubric dimension. And there was no statistically significant difference between grounding the agent in SensorFM predictions versus actual ground-truth measurements — meaning the model’s inferences served the agent about as well as the real labels would have.

Conclusion

SensorFM points toward a shift in wearable health research: away from many bespoke, single-outcome models and toward a single, generalist representation of human physiology that can be adapted flexibly, efficiently, and at scale. By learning from over a trillion minutes of unlabeled sensor data, it generalizes across cardiovascular, metabolic, sleep, and mental health; supports label-efficient adaptation and robust daily-metric estimation; can be specialized automatically by an agentic classroom; and can ground a Personal Health Agent in a person’s own signals.

Acknowledgements

We would like to thank our co-authors and collaborators from Google Research, Google DeepMind, and academia for their contributions to this work.