基于图像处理的集装箱吊具自动控制方案v2.0

13
软件的处理流程为：
初始化
图像采集1 图像预处理1
图像分割 特征提取 集装箱位置的确定 吊具集装箱距离检测 吊具旋转 吊具移动
No 左右坐标重合？
Yes 吊具下降
五、 方案难点分析 1、 人工预操作的要求
由于摄像机是安装在吊具的边沿下方，并方向垂直向下，集装箱如果没有在摄 像机图像的拍摄范围内，那么系统将无法进行工作，所以必须要先进行人工预操作， 将起重机移到集装箱的附近，并使吊具在集装箱的上方位置。
基于图像处理的集装箱吊具自动控制方案
目前集装箱的抓取还是处在人工操作的阶段，将吊具 4 个角的旋锁精准地插入 集装箱顶对应的锁孔是一件极其精细的事情，不但要求司机操作熟练，注意力也必须 保持高度集中。如果连续进行人工抓取，劳动强度会相当大，同时由于体力的下降也 会容易造成事故的发生。基于图像识别的集装箱抓取能够很好的克服这些问题。
4
两个摄像机能得到的集装箱顶的图片分别是： 左边摄像机：
右边摄像机：
这种安装摄像机方法的优点就是只需要检测到集装箱顶部边线， 根据两个边线 分别在两个摄像机画面中的中垂线是否重合，来调整吊具的方位，即前后左右移动 或正反方向旋转吊具等；这种方法缺点就是当吊具和集装箱距离比较近时可能只会 识别到部分的集装箱的顶部及边沿，这样就无法识别到边沿的中点，也就不能确保 集装箱顶部边线与图像中垂线的重合，而无法达到定位和控制吊具的目的。如下图：
14
2、 摄像机的自动对焦的要求
由于摄像机的成像距离是跟焦距相关的，随着吊具和集装箱的相对距离不断 发生变化，那么如果要得到清晰的成像，则要不断的进行对焦。目前很多摄像机 都带有自动对焦的镜头和控制功能，在选择中一定要选择带有自动对焦的摄像机， 且对焦范围尽量要大。
3、 图像采集光线的要求
摄像机成像跟光线密切相关，白天情况下摄像机有自动曝光和自动白平衡处 理能得到清晰的图像，但在晚上或室内比较暗的情况下要成像清晰，则要具备红外成 像功能，且能根据光线的强弱自动进行红外切换。
将集装箱图像识别、定位和吊具的最优化运动控制结合起来，能完成吊具对集装 箱自动化抓取，能提高集装箱装卸的自动化水平及装卸效率。
集装箱图像定位是在图像识别的基础上，提取集装箱箱顶区域的特征，确定顶部 的四个角和四个边界。将集装箱顶部平面作为参照面，吊具平面作为移动平面，计算 得到吊具的最优化运动控制参数，包括左右移动、前后移动、正反旋转、上升和下降， 最终实现吊具对集装箱的有效抓取。
方案二，嵌入式 ARM 板运行的是嵌入式 Linux 操作系统， 成本可控，设备体积 和性能也可根据实际需求能设计，但实现图像算法处理需要外接或集成 DSP，开发难度 比较大。
综合和保险考虑，选择方案一比较合适。
2
二、 基于图像识别集装箱定位 1、 吊具上摄像机的安装
1） 当摄像机安装在吊具中间
当吊具扣住集装箱时，吊具的 4 个插销是插到集装箱顶 4 个角件中并且旋锁锁 住。此时吊具的腹部和集装箱的顶部之间有个空隙，在这个空隙中可安装摄像机。 但对空隙的上下间距必须有一定的要求。
安装位置合理，比方说将摄像机向内偏一个角度可使顶点在摄像机画面中的成
6
像处于中心点，这样可确定吊具的该角是处于集装箱顶点的正上方；如果四个顶点 都成像与四个摄像机画面的中心，可确认吊具的整体位置是在集装箱的正上方的。 下图是将四个独立的图像合成一张画面的效果图，如：
2、 集装箱顶部图像特征的提取
图像采集时有时受光照、天气和摄像机设备优劣等条件的影像，噪声也会增大， 所以每得到一个图片都要经过如下的步骤进行算法处理： 1） 图像去噪 2） 平滑处理（掩模平滑） 3） 边缘分割（Canny 算子） 4） 图像增强（拉普拉斯梯度锐化）
12
综合现实的工况，使用第一种方式比较好。
2、 工控机 + 吊具运动控制
工控机经过图像算法处理后得出吊具的运动控制参数，可采用串口的方式 将控制参数输出给起重设备的电气控制总系统，当然也使用 CAN 或网络等方式， 要具体到电气系统的实际通信方式。
四、定位系统软件方案
工控机上运行 Windows 系统，在 Windows 系统的平台上将采集到的图像经过 OpenCV 算法库进行图像处理，然后实现对吊具的运动控制，其架构如下：
9
其中 L、r 是已知的，x1、x2 即为长度所占像素的个数。
4、 集装箱位置的确定
将摄像机成像平面作为 O1 坐标系，原点为图像的中心点。 将检测到的集装箱 顶部平面作为 O2 坐标系，原点定为集装箱边沿的顶点(以其中一角为例)。
以 O1 为参照坐标系，即坐标原点为(0, 0), 可得出 O2 坐标原点为（x, y），横 坐标间的夹角为 p, 这样就能确定出集装箱的位置。
15
堆垛时，B 的顶部四角顶点也能在四个摄像机的画面中识别到，进而可对集装箱 B 进行定位，然后实现集装箱 A 往集装箱 B 上的堆垛。
16
7
5） 纹理特征提取（提取集装箱边沿） 6） 顶点提取（提取集装箱顶部 4 个顶点）
摄像机在集装箱上方时从不同的角度会得到不同的集装箱顶部图像，如下图：
上方偏正面 7 个顶点 3 个四边形
斜上片背面 7 个顶点 3 个四边形 正顶部 4 个顶点 1 个四边形
正面偏上 6 个顶点 2 个四边形 集装箱顶点是两条或三条直线的交点，应当满足：一是至少能观测到四个顶点， 至多能观测到七个顶点；二是不会超过三个交点连线三条边；正常情况下，不会出现 与其它边无交点的孤立线段，不会出现连接四条或四条以上边的顶点，通过基于 Hough 变换的直线检测测算法，提取直线，然后通过求解两条邻边直线的交点得到集
然后以 O1 与 O2 坐标系重合为目标，调整吊具的位置和角度。 调整吊具前的图像：
调整吊具后的图像：
10
如果四个角的摄像机的画面中顶点与中心点都重合，那么就可以认为吊具就处 在集装箱的正上方了，且横、竖向都对齐。
5、 吊具移动的控制
当集装箱的位置确定下来，并且能不断检测出吊具与集装箱顶之间的距离， 这样就能输出吊具的运动控制参数。调整吊具的角度使两个坐标系之间的夹角 p=0，调整吊具的四个顶点的位置分别使 O2 坐标系原点（x,y）与 O1 的坐标原点 重合。
4、 摄像机安装防震的要求
吊具在与集装箱接触时会产生较大的碰撞，这种碰撞会对摄像机产生影 响，摄像机的设备本身需要有抗震、抗干扰等方面的功能，同时在安装时也要有 防震等方面的措施。
5、 集装箱抓取后的堆垛
前面方案讨论的都是在吊具如何有效抓取集装箱的过程，将集装箱抓取后堆 垛在另一个集装箱上则要另需讨论，但本方案也能给出解决的线索，比方说如果 在吊具的四个顶点角都安装上摄像机，当抓取一个集装箱 A 往另一个集装箱 B 上
在这里需要讨论工控机接摄像机和工控机控制吊具运动的方式。
1、 工控机 + 摄像机
工控机接摄像机有两种方法： 一是工控机接图像采集卡，采集卡采集摄像机的模拟信号；
二是工控机接网络交换机，网络交换机接 IP 摄像机；
第一种方式优点是稳定可靠，实时性好，但能使用标清格式图像。第二 种方式优点是能使用高清图像，但稳定性和实时性一般。
L 即为吊具和集装箱顶部之间的间距，假设摄像机的视场角为 r
D 为集装箱的长度。 Tanr = L/(D/2)
3
L = (tanr) *(D/2) 假设摄像机的视场角为 x,则 r=90-(x/2) L = (tan(90-x/2)) *(D/2) 集装箱一般分为 20ft 和 40ft 的两种尺寸，20ft 长度为 5.69m, 40 长度为 11.8m。 我们选取尺寸大的 40ft 的长度来计算，即 D=11.8m。 L= 5.9 * tan(90-x/2) 假定摄像机视场角大小为 100，则 L= 5.9*0.64 = 3.776m 显然是远远大于吊具扣住集装箱顶时两者之间的距离。 因为视场角和间距成反比，实际间距是小于 3.776m 的，也即是如果将摄像机装在吊具 的正中间则需要视场角要大于 100 度。 这对摄像机的要求就非常高，如果间距是 1m,则视场角就要达到 160 度，显然，这是 不现实的。 所以将摄像机安装在吊具的正中间是不行的。 2） 将摄像机安装在吊具的两边沿中间
5
3） 将摄像机安装在吊具的四角
相比较而言，集装箱的顶部四角顶点比顶部四边特征性更强，识别的效果更好。 在顶部四角各安装一个摄像机对集装箱顶点进行识别和定位的优点是不需要考虑摄 像机视场角的问题。由于吊具的四个顶点是插销，故摄像机不能放在插销的下面， 用支架的方式向外伸出固定在插销的上方，如下图：
在通过正反旋转调整吊具的角度、通过前后左右移动调整吊具的位置时，还 可控制吊具的上下移动，以使吊具能不断的接近集装箱，这里有两个方法：
1） 先调整好吊具的角度和位置，再下降接近集装箱。 2） 边下降，边调整吊具的角度和位置。 在这里选择第二种方案。
11
三、 定位系统硬件方案
在前面已经确定使用工控机接摄像机的方式来实现系统的图像采集、图像算法 处理和吊具运动控制的功能。
一、 方案设计
根据需求，可用两种方案来实现。 方案一：工控机图像算法处理+摄像头+采集卡+控制模块
1
方案二：嵌入式 ARM 板图像算法处理及控制+摄像头
两种方案的比较： 方案一，工控机运行 Windows 系统，并使用 OpenCV 图像处理算法库，能很好的
实现基于图像处理的吊具自动控制功能，硬件上布局简单，软件上实现也直接；唯一的 就是工控机体积和性能是否能满足现实的工况要求。
8
装箱四角顶点。 经过以上步骤，基本上能得到检测到集装箱顶部 4 个顶点和 4 个顶边。
3、 吊具与集装箱距离的确定
从集装箱上方拍到的集装箱顶部影像在整个图像中可能会呈现不同的位置和 角度，如下图：
集装箱实际尺寸的长 20ft 为 5.86m, 40ft 为 11.8m 由于集装箱的尺寸是已知的 L，成像中的长为 x2。整个视域长度假设为 H， 成像长为 x1。摄像机的视场角为 r, 则吊具与集装箱的距离 D 可确定为： x2 : x1 = L : H tan(r/2) = (H/2) : D 则： D = (x1/x2)*(L/2) /tan(r/2)