返回全部资讯
Berkeley AI Research (BAIR)T1·基座大模型

NeurIPS 2025:信息驱动成像系统设计方法

原标题:Information-Driven Design of Imaging Systems
68AI 研判分

BAIR 团队在 NeurIPS 2025 提出一种基于信息论的成像系统评估框架,直接量化噪声测量数据中的有用信息量。该方法摒弃传统分辨率或信噪比指标,通过估计器从原始数据中评估物体区分能力,适用于自动驾驶、MRI 等 AI 主导的非可视成像场景。代码已开源。

报道正文

本文目录5 个章节

编码器(光学系统)将物体映射为无噪声图像,而噪声会将这些图像干扰为测量值。我们的信息估计器仅利用这些含噪测量值和噪声模型,来量化测量值区分物体的能力。

许多成像系统产生的测量数据是人类无法直接看到或解读的。智能手机在生成最终照片之前,会通过算法处理原始传感器数据。MRI 扫描仪采集的是频域测量数据,需要经过重建后医生才能查看。自动驾驶汽车则直接使用神经网络处理摄像头和 LiDAR 数据。

在这些系统中,关键不在于测量数据看起来如何,而在于其中包含多少有用信息。即使这些信息以人类无法解读的方式编码,AI 也能将其提取出来。

然而,我们很少直接评估信息含量。传统的指标如分辨率和信噪比分别评估质量的各个方面,使得难以比较在这些因素之间进行权衡的系统。常见的替代方案——训练神经网络进行图像重建或分类——混淆了成像硬件的质量与算法的质量。

我们开发了一个框架,能够基于信息含量对成像系统进行直接评估和优化。在我们的 NeurIPS 2025 论文中,我们展示了这一信息指标可以预测四个成像领域的系统性能,并且通过优化该指标所产生的设计,其效果可与最先进的端到端方法相媲美,同时所需内存更少、计算量更低,且无需针对特定任务设计解码器。

为什么选择互信息?

互信息量化了一次测量能在多大程度上减少关于产生该测量的物体的不确定性。两个具有相同互信息的系统在区分物体的能力上是等效的,即使它们的测量结果看起来完全不同。

这个单一数值捕捉了分辨率、噪声、采样以及所有其他影响测量质量的因素的综合效应。一张模糊且充满噪声但保留了区分物体所需特征的图像,可能比一张清晰干净但丢失了这些特征的图像包含更多信息。

信息将传统上彼此分离的质量指标统一起来。它同时考虑了噪声、分辨率和光谱灵敏度,而不是将它们视为独立的因素。

此前尝试将信息论应用于成像领域时面临两个问题。第一种方法将成像系统视为无约束的通信信道,忽略了镜头和传感器的物理限制,导致估计结果严重失准。第二种方法则需要对被成像物体建立显式模型,从而限制了方法的通用性。

我们的方法通过直接从测量数据中估计信息,避免了上述两个问题。

从测量数据中估计信息

估计高维变量之间的互信息(mutual information) notoriously difficult(众所周知非常困难)。样本需求随维度呈指数级增长,且估计值往往存在较高的偏差和方差。

然而,成像系统具有某些特性,使得我们可以将这个难题分解为更简单的子问题。互信息可以表示为:

[I(X; Y) = H(Y) - H(Y \mid X)]

第一项 H(Y)H(Y) 衡量的是由物体差异和噪声共同引起的测量总变差。第二项 H(Y∣X)H(Y \mid X) 仅衡量由噪声引起的变差。

互信息等于测量总变差与纯噪声变差之差。

成像系统的噪声特性已有充分表征。光子散粒噪声遵循泊松分布,电子读出噪声则符合高斯分布。由于这些噪声物理机制已知,我们可以直接计算 H(Y∣X)H(Y \mid X),从而只需从数据中学习 H(Y)H(Y)。

对于 H(Y)H(Y),我们使用测量数据集拟合一个概率模型(例如 Transformer 或其他自回归模型)。该模型学习所有可能测量的分布情况。我们测试了三种在效率与准确性之间权衡不同的模型:平稳高斯过程(最快)、完整高斯模型(中等精度)以及自回归 PixelCNN(最高精度)。该方法提供了真实信息的上限;任何建模误差都只会导致高估,而不会低估。

在四个成像领域的验证

如果信息估计能够捕捉到限制实际系统性能的关键因素,那么它们应当能预测解码器的性能。我们在四个成像应用中测试了这一关系。

信息估计可预测解码器在彩色摄影、射电天文学、无透镜成像和显微成像中的性能。更高的信息量始终能带来更好的下游任务结果。

彩色摄影。 数码相机使用滤光阵列对颜色进行编码,限制每个像素仅检测特定波长。我们比较了三种滤光片设计:传统的拜耳(Bayer)模式、随机排列以及学习得到的排列。信息估计正确地对哪些设计能产生更优的颜色重建进行了排序,这与神经网络去马赛克算法得出的排名一致,且无需任何重建算法。

射电天文学。 望远镜阵列通过结合全球各站点的信号来实现高角分辨率。选择最优的望远镜位置在计算上是难以处理的,因为每个站点的价值取决于所有其他站点。信息估计预测了不同望远镜配置下的重建质量,从而能够在不进行昂贵图像重建的情况下实现站点选择。

无透镜成像。 无透镜相机用光调制掩模取代传统光学元件。其测量结果与场景之间没有视觉上的相似性。信息估计预测了在不同噪声水平下,采用透镜、微透镜阵列和漫射器设计的重建精度。

显微成像。 LED 阵列显微镜利用可编程照明生成不同的对比度模式。信息估计与神经网络从细胞图像中预测蛋白质表达的准确率呈相关性,从而能够在无需昂贵的蛋白质标记实验的情况下进行评估。

在所有案例中,更高的信息量意味着更好的下游性能。

使用 IDEAL 设计系统

信息估计不仅能评估现有系统。我们的“信息驱动编码器分析学习”(Information-Driven Encoder Analysis Learning, IDEAL)方法通过对信息估计进行梯度上升来优化成像系统参数。

IDEAL 通过对信息估计的梯度反馈来优化成像系统参数,无需依赖解码器网络。

计算成像设计的标准方法是端到端优化,即联合训练成像硬件和神经网络解码器。这需要反向传播穿过整个解码器,从而导致内存限制和潜在的优化困难。

IDEAL 通过仅优化编码器来避免这些问题。我们在彩色滤光片设计中对其进行了测试。从随机的滤光片排列开始,IDEAL 逐步改进了设计方案。最终结果在信息量和重建质量方面均与端到端优化相匹配。

IDEAL 在训练过程中避免了解码器的复杂性,同时实现了与端到端优化相当的性能。

影响

基于信息的评估为在真实条件下严格评估成像系统创造了新的可能性。现有方法要么依赖主观视觉评估,要么需要部署时无法获取的真值数据(ground truth),要么使用孤立指标而忽略了整体能力。我们的方法仅凭测量数据即可提供客观、统一的指标。

IDEAL 的计算效率表明,设计以前难以处理的成像系统是可行的。通过避免解码器反向传播,该方法降低了内存需求和训练复杂度。我们在后续工作中更广泛地探讨了这些功能。

该框架可能扩展到成像以外的其他传感领域。任何可以建模为具有已知噪声特性的确定性编码的系统,都可以从基于信息的评估和设计受益,包括电子、生物和化学传感器。


本文基于我们发表于 NeurIPS 2025 的论文 “Information-driven design of imaging systems”。代码可在 GitHub 上获取。视频摘要可在项目网站上查看。