术语slug: multimodal-learning

多模态学习

Multimodal Learning

同时处理和理解多种数据类型(如文本、图像)的技术

收录情报动态

共 19 篇 · 第 1/2 页
Latent SpaceT1·基座大模型
38 分
Theis 谈虚拟细胞:用算法理解多组学动态生物数据

Helmholtz Munich 的 Fabian Theis 在播客中回顾其团队在虚拟细胞(Virtual Cell)方向上的长期布局,强调用算法刻画多尺度、多模态、随时间变化的生物数据。他指出当前 AI×Bio 的注意力多集中在蛋白质与分子设计,而虚拟细胞需要更系统的数据采集与大规模建模。

MIT Technology ReviewT2·智能体与协同
42 分
MIT 科技评论质疑人形机器人 AI 路径:语言模型难以直接迁移至物理世界控制

《The Download》报道指出,业界对人形机器人的狂热可能建立在错误的假设之上,即认为驱动 ChatGPT 等语言模型的 AI 技术能直接让机器人模仿人类动作。研究人员警告,将基于语言和图像的通用智能强行应用于无限变化的物理世界存在巨大鸿沟,且混淆“人形”与“通才机器”的概念具有误导性。目前机器人实验室内部正就现有 AI 是否足以实现通用目标,还是需要全新路径展开激烈争论。

Google ResearchT1·基座大模型
48 分
谷歌研究:智能手机影像估算胰岛素抵抗风险

谷歌研究人员提出利用智能手机图像估算身体成分,以辅助预测胰岛素抵抗(HOMA-IR)这一关键代谢风险指标。该研究旨在通过视觉数据补充可穿戴设备信息,构建多模态机器学习框架,从而在常规血液检查前实现更早期的代谢健康筛查。目前该技术处于探索阶段,未来计划结合连续血糖与临床生物标志物以提升预测精度。

Google ResearchT1·基座大模型
78 分
Google AMIE 升级:实现专家级视听临床问诊

Google Research 宣布其医疗 AI 系统 AMIE 已从纯文本对话升级为具备视听感知能力的多模态系统,能够整合患者的步态、呼吸及面部表情等非语言线索。该系统在模拟临床咨询中达到了专家级诊断水平,旨在通过捕捉传统文本模型忽略的细微体征来提升诊断准确性与患者信任度。

Stanford HAI NewsT1·基座大模型
68 分
斯坦福构建人类细胞基础模型:整合多模态生物数据以加速药物发现与个性化治疗

斯坦福大学团队正在开发一种以人为中心的基础模型,旨在模拟人类细胞以加速药物发现和个性化治疗。该模型需克服识别 DNA、RNA、蛋白质序列及科学文献等多模态生物数据的挑战,试图为每位细胞生物学家提供类似 AlphaFold 的生成式工具。