目视检查是大多数质量控制工作流程的基石。如果由人类执行，该过程成本高昂、容易出错且效率低下：10%-20% 的伪废品和滑移率以及生产瓶颈并不罕见。 Fraunhofer IWU 的研究人员正在以 IQZeProd（Inline Qquality control for Zero-error Productucts） 的名义开发新的内联产品监控解决方案可在生产过程中尽早识别木材、塑料、金属和涂漆表面等各种材料的缺陷。该系统使用来自各种传感器的多传感器数据融合来识别组件在生产线上行驶时的结构和表面缺陷。目标是通过提高工艺可靠性和改进缺陷检测，使工业制造工艺更加稳健和可持续。该系统的核心是研究人员自己的 Xeidana® 软件框架和由二十个工业相机组成的矩阵。研究人员有非常具体的相机标准：全局快门单色传感器；低抖动实时触发；以非常高的数据速率进行可靠的数据传输，并直接集成到其软件框架中。他们选择了 The Imaging Source 的 GigE Vision 标准工业相机。

使用 Xeidana 软件框架融合来自 IQZeProd 的 20 个 TIS GigE 工业相机的图像数据以及来自高光谱和非光学传感器的数据，以实现零错误的在线 QC 系统。图片：弗劳恩霍夫 IWU

虽然 Xeidana 的框架方法提供了处理来自光学、热、多光谱、偏振或非光学传感器（例如涡流）的数据所需的灵活性，但许多检查任务是使用标准光学传感器提供的数据来完成的。项目经理 Alexander Pierer 评论道：“我们经常使用数据融合来冗余扫描关键组件区域。这种冗余可以包括从不同角度扫描同一区域，这模拟了手动检查过程中使用的‘镜像’。”为了获取完成这些任务所需的视觉数据，研究人员创建了一个由 20 个 GigE 工业相机组成的相机矩阵：19 个单色相机和 1 个彩色相机。

十九个单色工业相机从关键组件区域收集数据。 Xeidana 处理冗余数据以模拟称为“镜像”的过程，这是一种常用于手动检查的技术。图片：弗劳恩霍夫 IWU

单色传感器：最适合缺陷检测

由于其固有的物理特性，单色传感器比彩色传感器提供更高的细节、更高的灵敏度和更少的噪声。 Pierer 指出：“单色传感器足以检测表面亮度差异所出现的缺陷。虽然颜色数据对我们人类非常重要，但在技术应用中，颜色数据通常不提供附加信息。我们使用彩色相机通过 HSI 转换进行色调分析，以检测可能表明油漆涂层厚度存在问题的颜色偏差。”

任务要求和短曝光时间意味着工程师有非常精确的相机标准：Pierer 继续说道，“主要选择标准是全局快门和抖动非常低的实时触发，因为我们在非常短的曝光时间下拍摄运动中的部件。 10μs 范围内的相机和 Lumimax 照明 (iiM AG) 之间的曝光（也是通过硬件输入触发）必须绝对同步。我们在这里测试了您的一些竞争对手，其中许多都存在问题。我们认为投资回报率可以已经被限制在相机固件的相关区域，以优化图像传输的网络负载。此外，我们依赖于以非常高的数据速率进行可靠的数据传输，因为这些部件是在吞吐量、图像故障或碎片图像传输中进行检查的。决不能发生。”

电动变焦相机可快速调整视场

在项目过程中，该团队构建了多个系统：用于工业环境以及演示和测试目的。在典型的工业环境中，被检查的部件保持不变，定焦工业相机提供的成像满足团队的要求。然而，对于演示/测试系统，研究人员使用了许多不同的组件，包括金属部件、木制毛坯和 3D 打印塑料，这需要具有可调节视场 (FOV) 的相机。 Imaging Source 的单色变焦相机具有集成的电动变焦功能，可提供此功能。

变焦相机提供快速可调的视野 (FOV)，使演示系统能够扫描不同尺寸和形状的组件。图片：弗劳恩霍夫 IWU

大规模并行处理与数据传输保持同步并支持深度学习

超过 20 个不同类型的传感器向系统传送数据，需要处理大约 400 MB/s 的数据流。 Pierer 解释说：“该系统的设计吞吐速度高达 1 m/s。[…] 每三到四秒，二十个摄像机矩阵就会创建 400 个图像。除此之外，还有来自高光谱线相机和粗糙度测量系统，所有这些都必须在10秒的周期时间内处理和评估，为了满足这一要求，需要所谓的大规模并行数据处理，涉及28个计算核心（CPU）和图形处理单元(GPU)。这种并行化使检测系统能够跟上生产周期，提供具有 100% 控制的内联系统。” Xeidana 的模块化框架方法针对现代多核系统进行了优化，以实现大规模并行处理，使应用工程师能够使用插件系统快速实现大规模并行、特定于应用程序的质量控制程序，该插件可以通过各种方式扩展新功能。图像库。

该系统的数据融合功能可以通过多种方式使用，具体取决于哪些信息可能提供最合理的结果。除了更标准的机器视觉检测任务外，研究人员团队目前正在致力于集成其他无损评估技术，例如 3D 视觉以及来自不可见光谱的其他传感器（例如 X 射线、雷达、紫外线） ，太赫兹）来检测其他类型的表面和内部缺陷。

处理网络。蓝色和黄色模块并行执行单独的图像处理任务。图片：弗劳恩霍夫 IWU

由于 Xeidana 支持大规模并行处理，因此深度学习技术还可以应用于检测标准不易量化或定义的组件的缺陷检测。 Pierer 澄清说：“这些方法对于具有不规则纹理的有机成分（例如木材和皮革）以及纺织品尤其重要。”由于机器学习技术有时很难在某些情况下应用（例如分类决策的可追溯性有限以及在调试过程中无法手动调整算法），Pierer 补充道，“我们主要依赖经典的图像处理算法和信号处理的统计方法只有当我们达到极限时，我们才会转向机器学习。”

致谢： Imaging Source Europe GmbH 是 IQZeProd 项目行业工作组的积极成员，并与研究合作伙伴进行密切的专业交流。德国测量、控制和系统工程研究协会的 IGF 项目 IQZeProd (232 EBG) - DFMRS，Linzer Str。 13, 28359 不来梅由 AiF 在联邦经济和能源部根据德国联邦议院决议促进联合工业研究 (IGF) 计划的框架内提供资助。请注意，IGF 项目 232 EBG 的最终报告已向德意志联邦共和国感兴趣的公众开放。最终报告可从德国测量、控制和系统技术研究协会 - DFMRS，Linzer Str. 获得。 13, 28359 不莱梅和弗劳恩霍夫 IWU, Reichenhainer Straße 88, 09126 开姆尼茨。根据德国联邦议院的决议，得到联邦经济和能源部的支持。

Source: Multi-sensor Data Fusion for In-line Visual Inspection