为什么消费电子产品的相机，例如智能手机拥有超过 5 兆像素的微型摄像头，成本几乎为零，不是用于机器视觉吗？

较大的像素图像传感器（大于 5.5 微米）可以实现最佳精度（即全阱和读取噪声），但由于传感器尺寸较大（消耗的硅空间）和额外昂贵的光学器件，它们也会导致最高的成本。工业和科学市场仍在使用较大的像素，但其他市场的趋势是像素尺寸小得多。对于 CMOS 图像传感器尤其如此。这些新型图像传感器为我们的智能手机和网络摄像头提供了更好的摄像头，像素尺寸低至 1.4 微米，成本极低。对于机器视觉，较小像素（甚至 2 至 3 um）的 CMOS 传感器可能不可接受，尤其是高端检测应用，例如半导体检测、平板显示器检测或电子计量应用。由于相机尺寸的原因，较小像素的图像传感器应该会降低相机的成本，或者同一相机和光学器件内有更多像素，从而获得更高的分辨率。

这些好处对机器视觉来说也很有吸引力，那么我们放弃什么呢？基于彻底的分析，我们得出的结论是，像素小于 4.5 微米时，许多机器视觉应用会牺牲太多的功能和性能。这里有一些更多细节可以帮助您自己做出决定。

在功能级别上 – 放弃全局快门、较慢的帧速率，并获得更多噪点

CMOS 像素很复杂，包含许多可实现复杂功能的晶体管，例如全局快门、同时积分和读出以及相关双采样。例如，像素尺寸为 5.5 um x 5.5 um 的高性能 CMOS 全局快门传感器在 180 nm 晶圆厂中每个像素最多可以有 8 个晶体管。为了使像素更小，可以使用更少的晶体管（这意味着滚动快门、更慢的帧速度和更多的噪声），或者可以使用更小的技术节点工厂。

Intermezzo：图像传感器是在哪里制造的？

目前，最先进的 CMOS 图像传感器仍在 180 nm 晶圆厂生产，与微芯片相比，这是一种古老的技术。由于晶圆厂的设计规则，像素设计中只能封装有限数量的晶体管。尽管图像传感器公司正在竞争像素专利的雷区，但它们都使用相同的晶圆厂（大多数使用以色列的Tower-Jazz），除非它们足够大以拥有自己的晶圆厂（如索尼和柯达）。这些晶圆厂设计规则限制了图像传感器设计人员。他们愿意转向具有较小技术节点（例如 130 纳米或 90 纳米）的晶圆厂，以设计“更好”的像素。机器视觉市场容量不足阻碍了这一点。

在性能水平上 – 全井容量降低、MTF 降低、电气和光学串扰以及色彩再现较差

在性能层面上，较小像素的灵敏度仍然可以接受。由于像素面积较小，每个像素的电子较少，但读取噪声也下降，因此信噪比仍保持不变。换句话说，图像传感器的灵敏度不会随着像素尺寸的增加而降低。

真正的牺牲是满井容量。在较小的像素中，存储电荷的空间要少得多。对于网络摄像头、手机和傻瓜相机等查看应用程序来说，这不是一个大问题。然而，对于机器视觉，通常会冻结帧以进行分析或测量。低满阱会导致图像噪声较大，从而直接降低测量的准确性。全井容量随像素面积变化并呈二次方下降。

通常，传感器使用微透镜将光聚焦到像素的活动部分（没有晶体管的部分）。对于 2 至 3 微米的像素，只有大约 1 微米是敏感的。这也称为“像素吸管”。制造足够好的微透镜（高于有源区域）非常困难。量子效率取决于光的角度。如果光线直接射入，微透镜就可以正常工作。如果光线呈一定角度，大多数微透镜的效果就不那么有效（图 1）。

图 1.“像素吸管”来源：Matt Whitcombe，Omni Vision，2009 年 3 月 26 日

进入的光可能进入错误的像素或错误的光电二极管，称为光学串扰和电串扰。这将导致更差的调制传递函数（MTF），从而导致图像不太清晰。

图 2. 拜耳图案传感器上的光学串扰

来源：DxO Labs 在 2011 年欧洲图像传感器展上的演示

串扰还会破坏色彩再现，例如一些红光进入绿色像素（如图 2 所示）。在分析常用手机摄像头的图像时可以看到这一点（如图 3 所示）。一旦你观察整个传感器并使用光学器件，那么中间的像素将获得更好的照明。这会导致侧面出现阴影。这很难校正，对于色彩再现尤其困难。这种效果也出现在图 3 中，因为白纸看起来不是白色的，并且边缘有阴影。

图 3. 来自手机摄像头的彩色图像

来源：DxO Labs 在 2011 年欧洲图像传感器展上的演示

同样，较低的 MTF 和较差的色彩再现可能会减少图像中的细节，超出要求严格的检查和计量应用所需的范围。

背面照明（BSI）技术和非常复杂且昂贵的工艺开发可用于消除电气和光学串扰。这仅适用于非常大的消费市场或非常昂贵的科学市场。这最终将进入机器视觉市场，但目前它还不是一种选择，仍然是研究人员的领域。

总而言之，小像素（2-3 um）具有以下优点和缺点（基于与相同工艺中较大像素的比较）：

优点

  • 通过更小的传感器、光学器件和摄像头降低成本
  • 相同的传感器尺寸和光学器件提高了分辨率
  • 弱光下的灵敏度是可以接受的
  • 色彩再现足以满足观看应用的需要

缺点

  • 放弃全局快门（采用卷帘快门）
  • 帧速率较慢
  • 更多噪音
  • 较低的满井容量
  • 较低的MTF
  • 光/电串扰
  • 色彩还原度差

结论：利用为大容量消费相机应用开发的技术，在机器视觉应用中使用较小的像素是一种趋势。然而，机器视觉的要求非常不同，图像传感器像素具有足够高的性能以使其进入机器视觉相机还需要一段时间。引用图像传感器世界博客中的 Vladimir Koifman 的话：“总而言之，这是一个投资问题。小像素开发的投资巨大，而大像素的投资相对较低。”

Source: Can small pixel CMOS image sensors be useful in Machine Vision?