Expanded Embedded Vision Product Line
为了有效访问用于嵌入视觉应用的NVIDIA和Raspberry Pi 4平台的性能功能,成像源提供了MIPI CSI-2板摄像头的组合。 许多嵌入式机器视觉应用(尤其是多摄像机应用)需要的电缆长度比使用MIPI CSI-2摄像机达到的最大20厘米长的电缆长度。 使用FPD-Link III桥,可以实现最高15m的电缆长度。 图像数据是通过高达4.16 Gbps的薄(2.8毫米)同轴电缆传输的,图像数据,控制命令和电源同时发送。 例如,对于以30帧/秒为单位,从5-MP摄像机传输图像数据就足够了。 开发人员可以在MIPI-CSI-2和FPD-Link-III板相机以及具有IP67级住房的FPD-Link-III摄像机之间进行选择。 紧凑型摄像机可作为单色和颜色版本可用,并带有来自索尼和半导体的最新CMOS图像传感器(全局快门和滚动快门,分辨率为0.3 MP \ [VGA ] -8.3 MP)。
无论是应用程序需要MIPI CSI-2还是FPD链接接口,高分辨率还是高帧速率,成像源都提供了嵌入式视觉摄像机模块的广泛组合。
###为什么选择MIPI CSI-2或FPD-Link-III相机接口?
成像源提供MIPI CSI-2和FPD-LINK-III摄像机板,最多6个相机输入(平台依赖)将板相机连接到NVIDIA®JetsonNano™,NVIDIA®Jetson®Jetson®Jetson®JetsonXavier™NX AGX Xavier™和Raspberry Pi 4。一些用户可能会想知道使用MIPI CSI-2或FPD-Link-III摄像机的原因是什么。 答案在于嵌入式平台本身的硬件功能,即硬件加速图像信号处理器(ISP)。 嵌入式平台的MIPI-CSI-2接口直接连接到ISP,以避免潜伏期和数据转换。 成像源的MIPI-CSI-2摄像机是专门设计的,可以将原始图像数据直接传递到界面。 由于这些嵌入式板相机仅包含基本功能,因此它们特别有效。 ISP处理硬件加速操作,例如脱滑款,颜色校正,颜色空间转换,白平衡,镜头校正和图像数据压缩(例如H.264/H.256)。
使用NVIDIA JETSON NANO(MIPI CSI-2界面)和添加主动冷却以防止热节流的两台开发套件。
###平台将AI的力量带到了嵌入式视觉
除了其ISP外,来自NVIDIA(例如Nvidia Jetson Nano,Xavier nx *和Agx Xavier *)的上述嵌入式计算机提供了带有CUDA核心的GPU和几个MIPI-CSI-2相机界面,可为AI和AI提供预测的gpu 苛刻的机器视觉应用。 NVIDIA平台能够并行运行多个神经网络,以实现图像分割,图像分类和对象识别。 NVIDIA SDK“ JetPack”支持所有基于NVIDIA JETSON的嵌入式平台。
带有六个FPD链接III相机模块的载体板使用Jetson Agx Xavier。
NVIDIA提供了广泛的软件库,用于深度学习以及图像和视频处理。 成像源提供了相应的相机驱动程序,该摄像头无缝集成到NVIDIA软件框架中。 这允许将图像数据直接传输到预训练的深度学习模块中。
对于较少要求的图像处理任务,带有MIPI-CSI-2相机界面和ISP的Raspberry Pi 4也是一个绝佳的选择。 在这里,MIPI-CSI-2接口也直接连接到ISP。 例如,覆盆子PI 4能够压缩高分辨率H.264图像并通过以太网或WLAN发送它们。
Nvidia和Raspberry Pi嵌入式平台得到了一个大型开源和制造商社区的支持。 支持问题可以发布在适当的论坛中,开发人员可以在其中彼此交换信息。 NVIDIA还提供有关深度学习主题的免费在线培训课程。
** NVIDIA的Xavier nx 和 agx Xavier 的成像源的最新嵌入式产品将在 Q1 2021 中提供。 请与我们联系**,如果您想在产品上获取通知。
上面的文章发表在2020年9月的德语行业杂志Markt&Technik的标题中,fpd-linkIIIIIIIIIEIRGänztMipiCSi-2。