High-Dynamic-Range Imaging with Modern Industrial Cameras
细节、对比度和绚丽的自然色彩:通过 IC Measure 通过多次曝光和图像处理创建的 HDR 图像示例。
虽然分辨率和速度(帧速率)是选择合适工业相机的经典标准,但灵敏度和动态范围变得越来越重要 - 特别是对于汽车领域使用的相机。特别是,具有大量亮度变化的现实世界场景(例如驾驶)受益于宽动态范围传感器所提供的优势。以一辆汽车驶出隧道进入明亮的日光为例:低动态范围的传感器通常会提供曝光不足或曝光过度的图像,这意味着这些区域的细节(即数据)会丢失。如果驾驶辅助系统依赖于这些数据,这种损失可能是致命的。在这里,绝对有必要实现尽可能最大的动态范围,以便在非常明亮和非常黑暗的区域中获取重要的细节。
增加动态范围:两种方法
为了增加最终图像的动态范围,基本上可以采用两种方法:改进硬件以增加传感器的动态范围以及通过软件算法进行改进。
CMOS 传感器的动态范围取决于传感器像素饱和前可容纳的最大电子数(饱和容量)以及像素的暗噪声(即读出电荷时发生的噪声)。因此,要实现动态范围的增加,可以尝试进一步减少暗噪声或增加饱和能力。虽然暗噪声取决于传感器电子器件,但像素饱和容量的增加可以通过更大的像素(因为更多的像素表面积意味着暴露于更多的光子,从而产生更多的电荷)或通过对像素结构的内在改进来实现。最近,索尼 Pregius 传感器技术令人印象深刻地证明,在像素尺寸不变的情况下,改进像素设计并同时减少暗噪声可以显着增加动态范围。例如,索尼的 IMX 265 Pregius 传感器在 3.45μm 的像素尺寸下实现了 70.5 dB 的动态范围。更高饱和容量的结果是扩大了像素可以覆盖的测量范围。为了适当地量化这个更大的范围,现代 CMOS 传感器通常需要超过 8 位;例如,索尼 IMX 264 传感器可提供 12 位量化信号。
通过算法改善动态范围
除了传感器本身的改进之外,还可以通过算法增加动态范围。这些算法改进基于使用不同曝光时间获取的图像数据。这种类型中最著名的方法可能使用“随时间变化的曝光”(即以不同曝光时间获取的几张完整图像)作为数据基础。这种方法现在被用于许多智能手机和常见的图像处理程序以及摄影中,因此为机器视觉市场之外的广大受众所熟知。
基本假设是传感器的最终像素值近似线性地依赖于入射光量和曝光时间,因此如果像素不饱和,则确定基础入射光量(或与其成比例的量)对于已知的曝光时间。在饱和像素的情况下,相应的像素值用于较短的曝光时间。这样,与仅一次曝光的情况相比,可以确定更大区域的入射光量。曝光顺序的优点是可以在扩大的范围内确定亮度,而不会损失任何局部分辨率。然而,重要的是要记住,多次曝光时间是必要的,这可能会导致不必要的伪影 - 特别是在移动物体的情况下(例如重影)。
现代 CMOS 传感器(例如 Sony Pregius)通常具有多重曝光功能,可以使用不同的曝光时间拍摄本机图像,而无需手动更改两次拍摄之间的曝光时间。
空间变化的曝光
为了避免多次曝光造成的伪影,现代传感器提供了“空间变化曝光”技术。该技术以不同的曝光时间曝光传感器上的某些像素组。例如,一种常见的变体使用不同的曝光时间交替曝光两条图像线。由于曝光同时开始,因此场景内移动造成的伪影被最小化。然而,在这种情况下,不同曝光的像素不存在 1:1 的对应关系,最终 HDR 图像的像素必须通过插值计算。这个过程不可避免地意味着分辨率的损失,并可能导致伪影——尤其是沿着边缘结构。此外,通过必要的插值计算最终图像比曝光系列的数据计算计算量更大。
图 1:用于计算 HDR 图像的不同技术。 (a) 随时间变化的曝光:具有不同曝光时间的两张照片。 (b) 空间变化的曝光:两条图像线具有不同的曝光时间。 (c) 空间变化的曝光:另一种使用四种不同曝光时间的变体。
HDR 图像和色调映射的显示
在显示 HDR 图像时,人们经常直接面对显示设备提供的小动态范围(与人类视觉感知相比)。虽然具有更宽动态范围的 HDR 显示器现已上市,但距离普及还很远。如果要在动态范围较低的设备上显示 HDR 图像,则必须通过称为色调映射的过程来减小其动态范围。如何减少尚未明确定义,但取决于预期目标。例如,这可以是实际场景特征的最佳近似或某种主观艺术品质的实现。基本上,全局色调映射算法和局部色调映射算法是有区别的。在全局算法的情况下,无论位置如何,都会对所有像素执行相同的变换,这使得这些算法非常高效并允许实时数据处理。局部算法在局部像素邻域中起作用,并尝试在这些邻域中保持最佳可能的对比度。本地色调映射算法更占用 CPU 资源,但通常会提供对比度更高的图像。
图 2:由两个镜头组成的曝光系列示例:(a) 较短的曝光时间和 (b) 较长的曝光时间。 (c) 根据曝光范围计算并通过色调映射可视化的 HDR 图像。
Imaging Source 很早以前就认识到最大动态范围对于机器视觉应用的重要性,因此提供 HDR 图像数据采集以及通过其最终用户软件产品和编程接口中的色调映射实现数据可视化或保存。投入了大量的编程时间来创建用户友好的算法 - 产生算法的自动模式,自动调整所有参数以适应场景并且不需要用户干预 - 提供具有明亮自然色彩的高对比度镜头。特别是,当相机支持时,最终用户软件 IC Measure 使用 HDR 功能作为标准,并向用户呈现 HDR 图像。
图 3:Imaging Source 的最终用户软件 IC Measure 支持原生(依赖于传感器)曝光系列以及通过色调映射实现 HDR 图像的可视化。
上述文章由 Oliver Fleischmann 博士(The Imaging Source 项目经理)撰写,发表于德语行业期刊 Inspection 2018 年 4 月版(02 2018),标题为“High -现代工业相机中的动态范围成像。”
Source: High-Dynamic-Range Imaging with Modern Industrial Cameras