Machine Vision and Raman Spectroscopy
机器视觉系统擅长瓶子和小瓶的特征检查，例如瓶盖放置、标签打印质量和可读性、填充水平以及各种容器缺陷（例如缺口和裂纹）。更大的挑战是检查瓶子里的东西。位于北卡罗来纳州莫里斯维尔的 Centice 公司已开发出解决这一难题的技术。他们的传感器透过容器来确定透明和半透明容器内物体的化学成分、尺寸、形状和颜色，而不是容器本身的特征。 Centice 的首款产品 PASS Rx 药品认证系统将机器视觉与拉曼光谱相结合，可透视典型零售药店用于分发药物的琥珀药瓶的底部。 PASS Rx 系统的目的是帮助药剂师确保分配给患者的药瓶中的内容物正是医生开出的药物。条形码/RFID/重量检查系统无法提供这样的保证。
Centice 专有的拉曼光谱技术可测量药丸的化学成分。有时，仅靠光谱不足以确定小瓶中是否有正确的药丸。在某些情况下，Liptor® 和 Levothroid® 等药物家族具有完全相同的光谱特征，但有多种剂量，必须相互区分。其他药物家族具有光谱难以区分的荧光特性。这些药物几乎总是在大小、形状和/或颜色上存在差异。由机器视觉来测量这些可见的差异。这是一个难题，因为机器视觉相机必须透过琥珀色小瓶来评估里面的物体。塑料瓶底部具有模制的文字和徽标、不同厚度的多个角度表面以及必须忽略或减去才能正确执行检查的各种模具伪影和异常现象。图 1 是视觉系统看到的空瓶子的图像。图 2 是视觉系统看到的装满 Levothroids® 之一的小瓶的图像。
图 1.
图 2.
机器视觉问题变得容易处理，因为拉曼光谱减少了需要评估的可能形状、尺寸和颜色的数量。就 Liptor® 而言，拉曼可以减少视觉系统必须评估的单个药物的数量，从典型药房的 3000-4000 种药物减少到四种 Liptor®（10mg、20mg、40mg 和 80mg）。就 Liptor® 而言，机器视觉必须仅根据大小来区分药丸，因为所有药丸的形状和颜色都是相同的。其他药丸则根据三种机器视觉特征的任意组合进行评估。本文介绍了一些特征提取方法，可以解决这一非常困难的机器视觉挑战。将视觉特征与拉曼特征相结合进行分类相关的挑战留给另一篇文章。
挑战
通过小瓶底部观察物体存在一些挑战。瓶子底部的多个表面之间的书写、模具伪影和边界本身表现为小瓶内物体的表面和边缘的遮挡和不连续性。这些相同的伪影在图像中添加了与小瓶外部或小瓶本身的一部分无关的“假”边缘和表面。不同小瓶底表面的厚度为每个表面产生不同水平的放大倍数。小瓶材料的颜色会阻挡一定范围的光谱（琥珀色小瓶材料会阻挡蓝色光谱）。箱（或在本例中为药丸）堆叠发生，以便药丸相互遮挡，添加阴影，必须管理透视（来自以不同角度随机堆叠的药丸），并且可以出现药丸多侧的药丸形状（想象一个圆形药丸放在其边缘）。
图像累积
不同的光模式和光谱以不同的方式照亮小瓶底部的场景。多模式、多光谱图像积累方法的应用最大限度地利用了可用于区分物体类型的信息。 Pass Rx 的尺寸和形状与中型咖啡机差不多，因此可以放置在典型零售药店的柜台上。这意味着相机、光学系统和照明必须安装在物距较短的非常紧凑的区域中，以便有空间容纳构成系统其余部分的拉曼光谱仪、机械系统和嵌入式计算机。 Centice 与 The Imaging Source（北卡罗来纳州夏洛特/德国不莱梅）密切合作，寻找具有合适灵敏度、速度、驱动程序、API 和成本的相机，以满足应用程序的要求。 Navitar（纽约州罗切斯特）帮助 Centice 找到了一种廉价的镜头，以最大限度地减少鱼眼和其他不良影响。多模式、多光谱照明系统由 Centice 内部开发。
评估形状和大小
有多种方法可以在图像积累后对其进行评估。拉曼传感器几乎总是可以仅根据光谱指纹来确定两到六种药丸类型范围内的药丸类型。然后，机器视觉系统需要计算足够好的描述尺寸、形状和/或颜色的特征，以识别药丸所属的确切强度类别。本文的其余部分简要描述了每个类别所采用的方法。
形状和尺寸特征分为两类：1）瓶子中主要形状的特征，与先验信息无关；2）描述与已知形状集的一致性的特征。第一种形状评估方法更可取，因为它不需要从数据存储中检索药丸信息来开始检查。形状特征提取仅取决于识别图像中与小瓶内部而不是小瓶外部或小瓶上的物体相关的像素的能力，将这些像素累积成在空间或光谱上连续的片段，以及基于这些部分的区域或边界。图 3 显示了两种药丸的搜索结果，其中主要形状是不同大小的圆形。
图 3.
但通常情况下，第一类形状和尺寸特征不足以对药丸进行正确分类。在这些情况下，预期的形状/尺寸集被传递到视觉系统，描述由光谱识别的药丸家族的边界和区域。这是正确识别小瓶中形状的非常有效的方法，但需要使用计算密集型且通常是非确定性图像处理技术。图 4 显示了寻找具有预期菱形形状和预期尺寸的药丸的结果。图 5 显示了相同的检查，但小瓶中的药丸形状和尺寸不正确。
图 4.
图 5.
评估颜色
色彩的挑战是双重的。首先，必须以最适合小瓶材料光谱的方式校准相机。其次，必须将保存有效颜色信息的像素与不保存有效颜色信息的像素分开。像素选择问题与形状和尺寸特征段落中描述的问题不同。如果那些保存良好形状信息的像素落在阴影或闪烁区域，则它们可能不太适合评估颜色。选择像素后，计算多个颜色空间的颜色直方图。然后根据参考直方图评估颜色通道直方图。在图 6 所示的小瓶图像中，没有有用颜色信息的像素被标记为红色。原始图像如图 7 所示。
图 6.
图 7.
＃＃ 结论
拉曼光谱和机器视觉的结合在评估包装中的物体方面提供了协同作用，这是单独通过机器视觉或光谱无法实现的。需要开发新的视觉技术来观察半透明小瓶的内部，因为通常用于包装检查的技术主要用于测量标签、条形码、填充水平和瓶盖放置等内容。就 PASS Rx 而言，需要强大的对象分类技术来执行药品认证这一艰巨的任务。
