伯克利提出信息驱动成像系统设计框架，可跨四类成像域预测系统性能

编码器（光学系统）将物体映射为无噪声图像，噪声再将其破坏为测量值。我们的信息估计器仅使用这些含噪测量值和一个噪声模型，来量化测量值区分物体的能力。

许多成像系统产生的测量值人类从未见过，也无法直接解读。你的智能手机在生成最终照片之前，会通过算法处理原始传感器数据。MRI 扫描仪采集的是频率空间测量值，需要经过重建医生才能查看。自动驾驶汽车则直接用神经网络处理摄像头和 LiDAR 数据。

在这些系统中，重要的不是测量值看起来如何，而是它们包含多少有用信息。即使信息以人类无法解读的方式编码，AI 也能将其提取出来。

然而我们很少直接评估信息内容。分辨率和信噪比等传统指标分别评估质量的各个单独方面，使得难以比较在这些因素之间权衡的系统。常见的替代方案——训练神经网络来重建或分类图像——则把成像硬件的质量与算法的质量混为一谈。

我们开发了一个框架，能够基于成像系统的信息内容直接对其进行评估和优化。在我们的 NeurIPS 2025 论文中，我们表明这一信息指标能够预测四个成像领域的系统性能，并且优化它所产生的设计能够匹敌最先进的端到端方法，同时所需内存更少、计算量更少，且无需针对特定任务设计解码器。

为什么是互信息？

互信息量化的是测量值能在多大程度上减少关于产生它的物体的不确定性。两个具有相同互信息的系统，在区分物体的能力上是等价的，即使它们的测量值看起来完全不同。

这一个数字就捕捉了分辨率、噪声、采样以及所有其他影响测量质量的因素的综合效应。一张模糊、含噪但保留了区分物体所需特征的图像，可能比一张丢失了这些特征的清晰、干净图像包含更多信息。

信息统一了传统上彼此分离的质量指标。它将噪声、分辨率和光谱灵敏度一并考虑，而不是把它们当作相互独立的因素。

此前将信息论应用于成像的尝试面临两个问题。第一种方法将成像系统视为无约束的通信信道，忽略了镜头和传感器的物理限制。这产生了极其不准确的估计。第二种方法需要对被成像物体建立显式模型，限制了通用性。

我们的方法通过直接从测量值估计信息，避免了这两个问题。

从测量值估计信息

估计高维变量之间的互信息是出了名的困难。样本需求随维度呈指数增长，而且估计结果存在高偏差和高方差。

然而，成像系统具有一些特性，能够将这个难题分解为更简单的子问题。互信息可以写成：

\[I(X; Y) = H(Y) - H(Y \mid X)\]

第一项 $H(Y)$ 衡量测量值中来自物体差异和噪声的总变化。第二项 $H(Y \mid X)$ 仅衡量来自噪声的变化。

互信息等于总测量变化量与仅噪声变化量之差。

成像系统具有特征明确的噪声。光子散粒噪声服从泊松分布。电子读出噪声为高斯分布。这种已知的噪声物理特性意味着我们可以直接计算 $H(Y \mid X)$，只需从数据中学习 $H(Y)$。

对于 $H(Y)$，我们将一个概率模型（例如 transformer 或其他自回归模型）拟合到测量数据集上。该模型学习所有可能测量的分布。我们测试了三个在效率与准确性之间权衡的模型：一个平稳高斯过程（最快）、一个完整高斯模型（中等）和一个自回归 PixelCNN（最准确）。该方法提供真实信息的上界；任何建模误差只会高估，绝不会低估。

在四个成像领域的验证

如果信息估计能捕捉到限制真实系统的因素，它们就应该能预测解码器性能。我们在四个成像应用中测试了这种关系。

信息估计在彩色摄影、射电天文学、无透镜成像和显微镜学中预测解码器性能。更高的信息量始终在下游任务上产生更好的结果。

彩色摄影。数码相机使用滤色阵列编码颜色，这些阵列限制每个像素只能检测特定波长。我们比较了三种滤色设计：传统的拜耳阵列、随机排列和学习得到的排列。信息估计正确地排出了哪些设计会产生更好的颜色重建，与神经网络去马赛克的排名一致，而无需任何重建算法。

射电天文学。望远镜阵列通过组合全球各地站点的信号来实现高角分辨率。选择最佳望远镜位置在计算上是不可行的，因为每个站点的价值取决于所有其他站点。信息估计预测了不同望远镜配置下的重建质量，使得无需昂贵的图像重建即可进行站点选择。

无透镜成像。无透镜相机用光调制掩模取代传统光学元件。它们的测量结果与场景在视觉上毫无相似之处。信息估计预测了在各种噪声水平下，透镜、微透镜阵列和漫射器设计的重建准确性。

显微镜学。LED 阵列显微镜使用可编程照明来生成不同的对比度模式。信息估计与神经网络从细胞图像预测蛋白质表达的准确性相关，使得无需昂贵的蛋白质标记实验即可进行评估。

在所有情况下，更高的信息量意味着更好的下游性能。

用 IDEAL 设计系统

信息估计不仅能评估现有系统。我们的信息驱动编码器分析学习（IDEAL）方法利用信息估计上的梯度上升来优化成像系统参数。

IDEAL 通过对信息估计的梯度反馈来优化成像系统参数，无需解码器网络。

计算成像设计的标准方法——端到端优化——联合训练成像硬件和神经网络解码器。这需要在整个解码器中进行反向传播，造成内存限制和潜在的优化困难。

IDEAL 通过仅优化编码器避免了这些问题。我们在彩色滤光片设计上对其进行了测试。从随机的滤光片排列出发，IDEAL 逐步改进了设计。最终结果在信息量和重建质量上都与端到端优化相当。

IDEAL 在避免训练期间解码器复杂性的同时，达到了与端到端优化相当的性能。

意义

基于信息的评估为在真实条件下严格评估成像系统创造了新的可能性。当前的方法要么需要主观视觉评估，要么需要部署中无法获得的真实标注数据，要么使用忽略整体能力的孤立指标。我们的方法仅凭测量结果即可提供客观、统一的指标。

IDEAL 的计算效率为设计此前难以处理的成像系统带来了可能性。通过避免解码器反向传播，该方法降低了内存需求和训练复杂度。我们在后续工作中更广泛地探索了这些能力。

该框架可能从成像扩展到其他传感领域。任何可以建模为具有已知噪声特性的确定性编码的系统，都可能受益于基于信息的评估与设计，包括电子、生物和化学传感器。

本文基于我们 NeurIPS 2025 的论文“Information-driven design of imaging systems”。代码已在 GitHub 上提供。视频摘要可在项目网站上观看。