谷歌发布名为 AI-PPG-ACC-HTN 的多模态 AI 系统,无需袖带校准,仅凭消费级智能手表即可被动检测高血压迹象,相关成果登上 Nature。该系统融合手表采集的生理信号,把可穿戴设备从日常监测推向疾病筛查场景。
多模态学习
Multimodal Learning
同时处理和理解多种数据类型(如文本、图像)的技术
收录情报动态
Helmholtz Munich 的 Fabian Theis 在播客中回顾其团队在虚拟细胞(Virtual Cell)方向上的长期布局,强调用算法刻画多尺度、多模态、随时间变化的生物数据。他指出当前 AI×Bio 的注意力多集中在蛋白质与分子设计,而虚拟细胞需要更系统的数据采集与大规模建模。
《The Download》报道指出,业界对人形机器人的狂热可能建立在错误的假设之上,即认为驱动 ChatGPT 等语言模型的 AI 技术能直接让机器人模仿人类动作。研究人员警告,将基于语言和图像的通用智能强行应用于无限变化的物理世界存在巨大鸿沟,且混淆“人形”与“通才机器”的概念具有误导性。目前机器人实验室内部正就现有 AI 是否足以实现通用目标,还是需要全新路径展开激烈争论。
Google 推出旗舰 AI 气象模型 WeatherNext 3,通过整合实时卫星数据替代传统物理模拟,实现比前代高五倍的分辨率和每小时刷新能力。该模型已全面接入 Search、Gemini、Maps 及 Google Cloud,显著提升了降水预测与清洁能源变量的准确性。
谷歌研究人员提出利用智能手机图像估算身体成分,以辅助预测胰岛素抵抗(HOMA-IR)这一关键代谢风险指标。该研究旨在通过视觉数据补充可穿戴设备信息,构建多模态机器学习框架,从而在常规血液检查前实现更早期的代谢健康筛查。目前该技术处于探索阶段,未来计划结合连续血糖与临床生物标志物以提升预测精度。
Google Research 宣布其医疗 AI 系统 AMIE 已从纯文本对话升级为具备视听感知能力的多模态系统,能够整合患者的步态、呼吸及面部表情等非语言线索。该系统在模拟临床咨询中达到了专家级诊断水平,旨在通过捕捉传统文本模型忽略的细微体征来提升诊断准确性与患者信任度。
斯坦福大学团队正在开发一种以人为中心的基础模型,旨在模拟人类细胞以加速药物发现和个性化治疗。该模型需克服识别 DNA、RNA、蛋白质序列及科学文献等多模态生物数据的挑战,试图为每位细胞生物学家提供类似 AlphaFold 的生成式工具。
Google DeepMind 正式开源 Gemma 4 系列多模态大模型,采用 Apache 2.0 许可证。该模型支持文本、图像、音频及视频输入,具备前沿性能并专为端侧部署优化,已在 Hugging Face 上线并兼容主流推理引擎与微调库。
Hugging Face 团队发布高效多模态数据管道(MMDP),旨在解决训练过程中因数据加载瓶颈导致的 GPU 闲置和内存填充浪费问题。该工具通过优化批处理策略和数据流架构,显著提升 nanoVLM 等模型的训练效率,并已在 GitHub 开源供开发者复用。
Hugging Face 与印度理工学院(IISc)及 ARTPARK 达成合作,正式向全球开发者开放“Vaani”数据集。该数据集是印度目前最多样化的开源多模态、多语言资源,旨在降低针对印度本土语言构建 AI 模型的门槛。