钢桶搭接焊缝的微小特征实时识别

文/陈海永

摘要：针对钢桶搭接焊缝，提出了一种基于结构光视觉的图像特征识别方法。利用时空相关性原理和图像形态学开运算，消除部分随机噪声，改善了图像质量。利用峰值检测法，确定了感兴趣区域，提高了计算效率。进而利用列搜索和距离差分法实现了结构光带的特征点提取，试验结果达到了期望的性能。

关键词：搭接；机器视觉；特征提取；激光结构光

0 引言

薄钢板搭接电阻焊在钢桶行业应用广泛，开发搭接焊缝系统，对于降低工人劳动强度、改善生产条件、提高生产效率、优化焊缝质量有巨大的社会效益和经济效益。

近年来，为了实现焊接过程的自动化和智能化，国内外研究者对焊缝图像识别进行了大量的研究。德国斯图加特大学FAbt教授、美国肯塔基大学张裕明教授通过分析熔池状态图像，研究其与焊接质量的关系；英国格拉斯哥大学Camarasa提出双目视觉系统，能够在杂乱场景下完成辨识、确定目标；西澳大利亚大学Mitchell，Ye等人实现了照度变化，反射等条件下的焊缝鲁棒识别和焊缝定位。上海交大陈善本教授主要从熔池动态形状来研究焊接；沈阳自动化研究所赵明扬教授等人主研机器人激光拼接焊接；清华大学都东教授等人主研彩色信息识别多层多道焊和管道焊接；中国科学院自动化研究所徐德研究员等人对V形焊缝焊缝图像处理进行了深入研究；北京石油化工学院焦向东教授主研机器人水下焊接与球罐焊。目前这些研究主要集中于较宽特征明显的焊缝图像识别，但是对于搭接微小焊缝的识别仍需要进一步深入研究。为此，本文主要研究了搭接焊缝特征点的识别与提取算法。

1 视觉系统构成

基于结构光的搭接焊缝的特征点提取原理如图1所示。整个视觉系统主要由CCD摄像机、线结构光发射器、滤光片等部件组成。CCD摄像机垂直于焊接工件，线结构光发射器发射出一条细长的红色线条打在工件上，滤光片安装在镜头前方以滤去部分干扰光信息。

由图1中可以看出，线结构光打在焊接工件上，由于搭接引起的高度差值会使分别打在焊板上的两段结构光呈平行状态，需要找到焊接特征点即2条平行线的跳变点。

图1 搭接焊缝视觉系统原理图

2 图像处理

图像处理算法设计是视觉焊接系统中至关重要的环节，其本质就是对视觉传感器采集到的图像信息进行加工，保留有用信息，削弱或者去除噪声干扰。对于搭接焊缝的微小特征识别，本文分别进行图像滤波等一系列处理，处理流程如图2所示。

图2 图象处理流程图

2.1 图像增强

在现场实时焊接过程中，由于存在弧光、强热、飞溅等的干扰，导致图像存在很多噪声，这些噪声主要是呈现线状和块状的，采集的实时图像如图3(a)所示。所以，在进行图像特征点提取之前需要进行图像增强处理，即使需要的信息更加突出，反之，削弱不需要的信息，处理后的图像更加易于机器的识别，有利于特征点的提取。

（a）原始图象

（b）滤波后的图像

图3 采集的实时图像

在实时获取图像信息时，基于时空相关性原理，考虑到条纹有一定的宽度，实时焊接运动速度等，在以ms级为单位的处理速度情况下，相邻帧间图像条纹在图像中的位置变化缓慢，而图像中飞溅噪声则有很大的随机性，因此，对图像进行与操作：

     （1）

式中：Ft（i，j）为t时刻采集到的图像；Ft（i，j）为t-1时刻采集到的图像；F′t（i，j）为图像进行与操作后的图像。

这样，图像与运算后可以滤去由于引弧飞溅等引起的随机噪声的干扰，而条纹有一定的宽度，不会对线位置识别造成较大影响。

一般来说，图像具有局部连续的性质，即相邻像素的数值相近，而噪声的存在使得噪声处产生灰度跃变，对图像局部存在的噪声采用平均模板滤波，修正噪声点的灰度值，实现图像平滑。设f（i，j）为摄像机采集到的含有噪声的图像，经过邻域的平均模板滤波处理后的图像为g（i，j），则有g（i，j）=Σf（i，j）/N（i，j）∈M，M是所取滤波模板中邻域中邻近像素的坐标，N是邻域中包含的临近像素的个数。模板尺寸越大，处理后的图像越模糊，本实施例滤波模板采用尺寸为3*3 的模板， 即为，中间黑圆点代表要处理的元素。滤波结果如图3（b）所示。

通过两幅图像对比可以看出，图像中局部块状的噪声点得到了有效修正，邻域灰度值变化平缓，平滑了图像边缘，削弱了焊接过程中弧光带来的干扰。
2．2 图像分割
图像分割是将数字图像分割为互不相交（不重叠）区域的技术和过程。图像分割是图像分析中的关键问题，通过图像分割可以凸显出图像中感兴趣的区域或景物。

2．2．1 图像二值化

为了进一步凸现出感兴趣目标的轮廓，需要对灰度图像进行二值化处理。为了得到理想的二值图像，须选取合适的阈值。而由于条纹中间较亮，两边较暗，所以整幅图像不宜用一个相同的固定的阈值。

下面提出阈值选择方法，最大类间差法（简称OTSU法）。OTSU算法计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分的差别变小。因此，使类间方差最大的分割意味着错分概率最小。设灰度图像灰度级是L，则灰度范围为［0，L-1］，利用OTSU算法计算图像的最佳阈值为：

   （2）

变量说明：当分割的阈值为t时，w0为背景比例，u0为背景均值，w1为前景比例，u1为前景均值，u为整幅图像的均值。
使以上表达式值最大的t值，即为分割图像的最佳阈值。图4为OTSU算法对图像进行二值化处理的结果。

图4 OTSU算法二值化图像

2．2．2 图像形态学

图像二值化后，还存在部分干扰，为了进一步消除干扰，需要再次进行处理。采用形态学开运算，即先对图像做腐蚀运算再做膨胀运算。腐蚀运算会去除图像里面边缘点离散点，膨胀运算会使存留下来的信息恢复原貌，这样在不影响图像轮廓基础上滤除了噪声。开运算可表示为：

  （3）

图像开运算后的效果如图5所示。

图5 形态学开运算处理结果

2．3 提取特征点

2．3．1 确定感兴趣区域

相机采集到的图像，干扰遍布整个图像区域上，而处理图像所需要的区域只是含有结构光条纹的区域，有效提取感兴趣区域，不但提高了稳定性，避免图像其他区域的噪声对图像处理过程中造成的干扰，而且，较小图像处理范围，提高了算法的处理速度。

通过逐行计算结构光条纹亮度，找出2个峰值所在的行，2条纹纵向坐标分别记为y1，y2。此时，可以确定图像感兴趣区域（ROI），纵向方向范围［min（y1，y2）－20，max（y1，y1）＋20］。由于搭接板的条纹征点处可能出现不连续断点，采用最近邻插值法获取连续的条纹直线，即：

f（x，y）＝g（round（x），round（y））， （4）

式中：f（x，y）为滤波处理后的图像；round为取整运算。最近邻插值法计算简单，程序运行耗时少，输出结果不影响关键信息的处理。感兴趣区域的确定与插值结果如图6所示。

图6 确定ROI

2．3．2 结构光条纹骨架提取

确定结构光条纹中心骨架最常用的方法有阈值法、极值法、重心法等。阈值法是以阈值大于等于一定值的左右两像素为起始点和结束点，二者的平均位置为结构光条纹中心；极值法是以光强最大值点作为结构光中心骨架；重心法即为改进的极值法，首先采用极值法找到光强最大值位置，然后取此位置左右各k点， 求这k＋1点的重心，即认为是结构光条纹中心骨架。这3种方法单个像素点的提取不准确会对结果造成较大影响。

在ROI区域内，提取焊缝条纹中心线数组，本文采用逐列搜索法得到条纹的中心线数组。条纹打在焊板上会有一定的宽度，需要进行细化以提取列方向上唯一的条纹坐标。细化的基本思想就是保持图形原有形状的同时，去掉边缘点，即保持图像原有骨架，细化的目的即为提取出唯一的条纹中心线数组。基于条纹细化原理，笔者提出一种逐列搜索法得到条纹的中心线数组。

sum1＝2*（f（i，j－1）＋f（i，j＋1））， （5）

sum2＝f（i，j－8）＋f（i，j－6）＋f（i，j＋8）＋f（i，j＋6）， （6）

delta＝sum1－sum2， （7）

求取最大的delta值，此时对应的j值即为提取的对应轮廓的纵向坐标， 此时f（i，j）即为提取结果。

2．3．3 条纹有效性判断

提取的特征点会由于噪声等引起特征点较大的偏差，需要对提取的条纹骨架进行有效性判断，确保提取的条纹特征点有效。求取每次提取的特征值得平均值，误差大于30个像素即为大的跳变点，需要去除掉。

   （8）

式中：f（i，j）为提取到的特征点；aver为每提取一个特征点后进行的一次均值计算。剔除后的特征点值赋值为aver。

2．3．4 距离差分法提取特征点

经过插值法得到连续的条纹，又以逐列搜索法得到条纹骨架，下一步要解决的就是要确定焊接特征点，在图像上显示为2条条纹的转折跳跃点。常用方法为通过梯度值寻找梯度最大点，但这种方法计算量大，影响系统的实时效果，本文采用一种通过距离差分法提取焊缝特征点。依次取相邻10个点的图像轮廓f值，进行距离差分计。

d＝［max（y1，y2）－min（y1，y2）］*5*Δ， （9）

    （10）

式中：d为2条距离叠加值；y1，y2为已提取出的2条条纹纵向坐标值；Δ为距离权值，用来修正距离叠加值偏差，取值范围为0.7～0.9；D为图像上连续点距离差值之和。

当满足条件D＞d 时，即寻到焊接特征点，为修正叠加时坐标偏差，对i值进行修正，对此时，满足条件的i＋6 值即为特征点横向坐标值，（y1+y2）/2 为特征点纵向坐标值。

在现场焊接过程中，高频噪声等干扰大量存在，为进一步提高特征点提取的稳定性与可靠性，采用二阶差分法进行修正补充。

Y（i，j）=f（i+2，j）-2*f（i+1，j）-f（i，j）。（11）

提取到的最大点处的二阶差分值Y（i，j）处即为特征点。通过距离搜索法提取到的特征值与二阶差分提取到的特征值进行比较，两值差小于10个像素点即为合法，否则进行下一轮计算。

3 试验结果

通过以上步骤处理，图7中方块即为焊接特征点提取结果。由图中可以看出，激光条纹明显分割为2条直线，焊接特征点即为由于钢板搭接高度变化引起的直线跳变点。

图7 特征点提取结果

为了验证算法的实时性与可靠性，对焊接过程中特征点实时提取，分别对不同斜率的直线进行提取。通过控制执行机构运动，以1m/min的速度匀速移动传感机构，提取特征点坐标，选取2条不同斜率焊缝如图8a，b所示。对提取到的特征点的横纵坐标进行拟合，得到跟踪与拟合数据结果，提取到的X，Y数据见图8c，d，e，f。从图中可以看出，坐标实时提取精度较高，提取结果稳定可靠。算法处理速度较快，速度为14帧/s，能够达到实时焊接要求。

（a）焊缝1

（b）焊缝2

（c）焊缝1的x坐标变化

（d）焊缝2的x坐标变化

（e）焊缝1的y坐标变化

（f）焊缝2的y坐标变化
图8 提取到的x，y数据图

4 结论

对于搭接焊接智能系统，图像处理速度是关键，针对薄钢板搭接焊缝，本文通过时空相关性原理与形态学开运算等一系列算法，完成对图像增强降噪处理，继而通过峰值检测法确定感兴趣区域，提高了运算效率，并采用逐列搜索法对条纹骨架进行了准确提取，最终利用列搜索和距离差分法得到特征点，处理速度较快。本文充分考虑了实时焊接过程中遇到的各种干扰，并结合结构光图形图像特点采用了一系列可靠的处理过程，处理速度较快，能满足焊缝实时跟踪的要求。