2.2 硬件系统

典型的机器视觉系统的硬件系统通常包括光源、工业相机、处理器、输出设备等。一个机器视觉系统的硬件系统的主要组成示例如图2-10所示。

img

图2-10 一个机器视觉系统的硬件系统的主要组成示例

待检产品通过输送机传送至工业相机视场区域,光源对待检产品进行合理打光,改善成像环境,使待检产品的局部纹理与缺陷细节得以清晰显现。工业相机对图像进行采集,将其转换为数字图像后传送至计算机,计算机利用预装的图像处理软件对待检产品的几何尺寸、表面缺陷等进行精确测量与定位。输出设备将记录检测结果,并通过显示器显示数据,或者对不合格的产品进行标注、产生报警信号。

为了得到高质量的图像,针对不同应用场合的检测需求,有必要对硬件系统的相机、镜头、光源等主要组成部分进行定性分析和定量计算,以便合理地选择型号。

2.2.1 工业相机

工业相机的功能是将待测目标物体转换成计算机中的数字图像。其工作方式是利用物体发射或反射的光,将镜头的光路聚焦在图像平面并进行光电转换,从而量化输出图像。

工业相机一般由以下模块组成。

(1)图像传感器:将光信号转换成电信号的器件,是工业相机的核心,市场上主要有 CCD和CMOS两种。

(2)图像输出接口电路:将图像传感器的输出信号以某种压缩方式输出,常用的输出方式包括 USB、千兆网、CameraLink、1394等。

(3)图像拍摄触发电路:用于启动工业相机拍摄图像,包括内触发和外触发两种。

(4)壳体:包括与镜头连接的光学接口、用于传送数据的接线端子、供电电源接线端子、外触发接线端子、用于固定相机的螺纹孔。

工业相机如图2-11和图2-12所示。

img

图2-11 工业相机正面实物图

img

图2-12 工业相机背面的数据输出口

工业相机与民用相机具有如下区别。

(1)工业相机一般没有录像功能;而民用相机通常具有录像功能,实际上是摄录一体机。

(2)工业相机性能稳定可靠,易于安装,结构紧凑结实,不易损坏,连续工作时间长,可在较差的环境下使用;而一般的民用相机很难做到这些。例如,如果民用数码相机工作24小时或连续工作几天,就会因工作强度过大而出现损坏。

(3)工业相机在高速和高分辨率方面具有多种选择,以便适应工业现场的不同需求;而民用相机通常以视频摄影为主,每秒拍摄25帧图像,对图像分辨率没有过高的硬性要求。

(4)工业相机的价格普遍高于民用相机。

工业相机常用的参数有传感器类型、像元排列方式、像元尺寸、靶面尺寸、颜色类型、像素深度、像素分辨率、曝光方式、速度、数据接口等,下面具体介绍。

1.传感器类型

图像传感器是工业相机的核心部件,一个传感器上包含的像素数越多,其提供的画面分辨率也就越高。它的作用就像胶片一样,与相机胶片不同的是,它可将光信号转换成数字信号。

根据元件的不同,图像传感器通常可分为CCD(Charge-Coupled Device,电荷耦合器件)传感器和CMOS(Complementary Metal-Oxide Semiconductor,互补金属氧化物半导体)传感器(见图2-13)[3]

CCD传感器和CMOS传感器的主要区别是从芯片中读取数据的方式不同。CCD传感器的原理如图2-13(a)所示,感光元件(通常为光电二极管)将光转换成电荷,再按行转移到串行读出寄存器,然后进行电荷转换和放大输出。CMOS传感器的原理如图2-13(b)所示,光电二极管将光转换成电荷,其中每个光电二极管单独连接一个放大器,且具有行和列的选择开关,可以选择性地输出。

CCD传感器的优点在于成像质量好,缺点是功耗大、工艺复杂,只有少数厂商掌握制作技术,成本居高不下。CMOS传感器具有低功耗、可选择性读取数据、成本低等优点,但成像质量不及CCD传感器。

2.像元排列方式

相机的像元排列方式决定了相机是否可以进行扫描成像。像元指相机中图像传感器感光面(通常称为靶面)中的光电管,是将光信号转换成电信号的元件。按照它们在相机靶面芯片上的集成方式,可以把相机分为线阵相机和面阵相机。例如,图2-13所示的两种传感器的像元呈面形排列,则称对应的相机为面阵相机;图2-14所示的传感器的像元呈线形排列,则称对应的相机为线阵相机。

img

图2-13 传感器类型

img

图2-14 线阵相机

线阵相机多为CCD传感器,实际应用中,有些线阵相机是几行像元呈条状排列的。线阵相机(见图2-15)适用于对大幅面(大于100mm)的目标扫描成像,如进行布匹印刷检测;而面阵相机(见图2-16)适用于对小幅面(小于100mm)的目标一次成像,如进行工件螺纹检测。

img

图2-15 线阵相机实物

img

图2-16 面阵相机实物

3.像元尺寸

数字相机中单个像元的尺寸一般为imgimg,通常为矩形结构。像元尺寸在某种程度上反映了传感器芯片对光的响应能力,像元尺寸越大,能够接收的光子数量越多;像元尺寸越小,感光面就越小,其输出的信号也就越弱。

4.靶面尺寸

像元尺寸和像元数量(分辨率)共同决定了相机中图像传感器的靶面大小。

img

(2-1)

例如,德国Basler公司的acA2500-14gm/gc面阵相机的分辨率为2592×1944,像元尺寸为img,则靶面尺寸为img

靶面尺寸也常用对角线的长度来表示,一般以英寸(in)为单位,如1in、2/3in、1/2in。需要注意的是,在机器视觉领域,1in的靶面,对角线长度为16mm,而在英制单位中,1in为25.4mm。

5.颜色类型

CCD传感器和CMOS传感器对于近紫外光、可见光及近红外光都有响应,无法直接产生彩色图像,单芯片传感器只能采集到灰度图像。通常采用两种方法让相机输出彩色图像:Bayer滤镜阵列技术和棱镜分光三传感器技术。

按照颜色类型,工业相机可以分为彩色工业相机和黑白工业相机。彩色工业相机适用于与颜色相关的定性检测,如布匹色差检测、车牌检测等;黑白工业相机适用于定量测量,如零件尺寸测量、机械手抓取等。

6.像素深度

像素深度指像元输出的图像像素灰度值。例如,8bit表示img个灰度级,像素深度一般常用的是8bit,对于黑白工业相机,还有10bit、12bit等。

7.像素分辨率

像素分辨率简称分辨率,指工业相机的传感器芯片上集成的感光元件的个数。对于面阵相机,分辨率通常用水平方向的感光元件个数×垂直方向的感光元件个数表示,如1280×1024分辨率,也称为130万分辨率。

对于线阵相机,分辨率只用水平方向上的感光元件个数表示,如2048分辨率,也称为2K分辨率。

相机的分辨率是根据测量精度估算的。

img

(2-2)

img

(2-3)

例如,单方向视野长度为5mm,理论测量精度设计为0.02mm,则

img

(2-4)

为增加相机系统的稳定性与测量精度,一般不用一个像素单位对应一个测量精度值,通常选择的分辨率会更高,一般可以选择3~4倍,这样该相机的单方向分辨率可扩大至1000,实际的测量精度才会达到理论设计的测量精度。

既然确定了相机整体的分辨率约为1000×1000,那么在选择相机时,需要对照相机的参数手册,查找满足测量需求的工业相机,从而完成相机的选型。

8.曝光方式

曝光方式指为了使感光元件接收光信号而打开快门的方式。对于面阵相机,曝光方式主要有两种,即卷帘曝光和全局曝光;对于线阵相机,曝光方式主要为行曝光。

如果检测运动目标,对于面阵相机,选择卷帘曝光方式会产生拖影现象,而选择全局曝光方式可避免产生拖影;对于线阵相机,可以通过加装编码器触发相机行曝光来防止拖影。

9.速度

相机的速度可以用相机采集图像的频率表示。通常面阵相机用帧率表示速度,单位为fps(frame per second),如30fps表示相机1s最多能采集30帧图像。线阵相机通常用行频表示速度,单位为kHz,如12kHz表示相机1s最多可以采集12000行图像数据。

相机的速度会受分辨率和曝光时间等参数的限制,分辨率越高,帧率和行频越低,速度越慢;曝光时间越长,帧率和行频越低,速度越慢。

10.数据接口

数据接口指相机将采集到的图像数据传输到计算机设备的接口。数据接口主要有USB、GigE、CameraLink、1394等。其中,USB接口具有高带宽、连接简单、无须额外供电等优点,但有传输距离短、数据占据总线难以同步等缺点;GigE接口弥补了USB接口的缺点,但需要额外的电源供电;CameraLink接口是一种专门针对机器视觉领域的通信协议接口,具有高带宽的优点,但传输距离短,而且需要专门的采集卡;1394接口是早期工业相机采用的接口,带宽一般,传输距离短,需要专门的采集卡,已逐渐被其他接口取代。数据接口的性能对比如表2-1所示。

表2-1 数据接口的性能对比

img

通过计算分析以上10个主要参数,已经能够确定相机型号。其他参数如光学接口、动态范围等,可以通过查阅相机厂家的产品手册详细了解。

【案例1】

根据以下要求选择合适的相机:完成测量产品尺寸的任务,产品尺寸为25mm×15mm,要求测量精度为0.1mm,检测速度为10件/s。

【分析】

该任务属于尺寸测量,可选择黑白相机;考虑易用性与成本控制,选择CMOS传感器。

产品尺寸为25mm×15mm,属于较小幅面,可以对产品一次成像,选择面阵相机。

视野应略大于产品尺寸,通常取产品尺寸的1.2倍,约为30mm×18mm,假设用3个像素表示测量精度,则测量精度为0.03mm,那么,相机分辨率为

img

(2-5)

img

(2-6)

相机分辨率至少需要1000×600,可以选择1280×720分辨率的相机。

因为检测运动目标,所以相机曝光方式选用全局曝光方式。

检测速度是10件/s,所以相机的帧率大于10fps即可。

数据接口要求传输速率高、无须采集卡,所以选择USB3.0接口。

综合以上参数,通过查阅相机厂家的产品手册就可以得到具体型号,从而完成对相机的选择。

2.2.2 镜头

镜头的作用是将远距离物体发出或反射的光,通过自身的光路聚焦到相机的图像传感器上。工业相机的镜头如图2-17所示。

img

图2-17 工业相机的镜头

镜头的参数包括焦距、工作距离、视场、光学接口、光学接口尺寸、光学放大倍率、镜头分辨率、畸变系数和景深等。

1.焦距

焦距是指镜头透镜中心点平面到焦点平面的距离(见图2-18中的OF),记作f,单位为mm。焦距的大小决定了视场角的大小,焦距越大,视场角越小;焦距越小,视场角越大。根据焦距能否调节,工业相机镜头可以分为定焦镜头和变焦镜头。

2.工作距离

工作距离指中心点平面到物体平面的距离,记作WD,单位为mm。实际工作距离通常由实际生产环境的空间限制,应该大于镜头的最小工作距离,否则不能清晰成像。

img

图2-18 透镜焦距示意

3.视场

视场和视场角是相似概念,它们都可以用来衡量镜头的成像范围。

在近距离成像中,在工作距离固定的情况下,常用实际物体的尺寸表示镜头的成像范围,称为镜头的视场,记作FOV,用宽×高表示,如100mm×80mm。

img

图2-19 镜头视场与视场角示意

在远距离成像中,镜头的成像范围常用视场角来衡量,记作DHV。镜头的视场角包括水平视场角、垂直视场角、对角线视场角。视场角常用对角线视场角×水平视场角×垂直视场角来表示,如61.7°×56.3°×43.7°。

图2-19中,点o处为相机位置,w为成像平面的宽度,h为成像平面的高度。其中,图2-19(a)中的∠aob为对角线视场角,图2-19(b)中的∠aob为水平视场角。

4.光学接口

光学接口指镜头与工业相机装配的接口,主要有C接口、CS接口、M45接口等。不同接口之间有适配转接环,如C接口镜头可以通过5mm转接环适配CS接口。

5.光学接口尺寸

光学接口尺寸指镜头适配的工业相机的最大传感器尺寸,记作SS,通常用对角线的英寸单位表示。如果实际选用的图像传感器靶面尺寸大于镜头所支持的图像传感器的最大尺寸,就会造成传感器外围成像单元的资源浪费,成像后的图像外围会有一圈黑色的轮廓。为了避免上述失误,在选用镜头时,一定要仔细查阅镜头厂商的技术手册,结合选用的相机图像传感器的尺寸来完成镜头的合理选型。

常用的镜头光学接口尺寸有1in、2/3in、1/2in、1/3in、1/4in等。通过查表可以得到光学接口尺寸对应的宽度×高度的表示方法。常见相机传感器的靶面尺寸与镜头C接口尺寸的关系如表2-2所示。

表2-2 常见相机传感器的靶面尺寸与镜头C接口尺寸的关系

img

6.光学放大倍率

光学放大倍率指镜头将物体投射到感光元件上的大小和物体实际尺寸的比值。传感器靶面尺寸与实际视野大小的比值记作β,镜头成像过程如图2-20所示。

img

图2-20 镜头成像过程

img

(2-7)

虽然称为放大倍率,但对有的镜头来说,其会有缩小作用。例如,光学放大倍率为×0.1表示实际物体通过镜头成像后,到达图像传感器靶面上的图像大小为实际物体的1/10。

7.镜头分辨率

镜头分辨率指镜头在成像平面1mm间隔内能分辨的黑白线条对的数量,记作R,单位为lp/mm(线对/毫米)。若镜头在1mm的范围内可以分辨出由60根平行线组成的图案,则可以说这个镜头的分辨率为60lp/mm。从理论上说,分辨率越高的镜头成像越清晰。图2-21所示为不同分辨率、对比度的镜头形成的图像效果。

8.畸变系数

镜头在生产过程中经过磨削、装配等复杂的工艺,不可避免地会产生光学误差,导致成像畸变。其畸变效果如图2-22所示。畸变系数是衡量工业镜头成像失真和变形程度的指标,通常用百分数表示,如畸变系数为0.1%。

9.景深

景深指镜头能够对物体清晰成像的范围,记作ΔL(见图2-23),单位为mm。在进行拍摄时,调节相机镜头,使距离相机一定距离的物体清晰成像的过程,称为对焦。物体所在的点,称为对焦点。“清晰”并不是一个绝对的概念,所以,在对焦点前(靠近相机的方向)、对焦点后(一定距离内)的物体成像都可以是清晰的,这个前后范围的总和就称为景深,只要在这个范围内的物体,都可以清晰成像。

img

图2-21 不同分辨率、对比度的镜头形成的图像效果

img

图2-22 镜头畸变效果

img

图2-23 景深示意

对于景深和镜头的关系可以总结为:镜头焦距越大,景深越浅;焦距越小,景深越深;光圈越大,景深越浅;光圈越小,景深越深;镜头离物体的距离越远,景深越深;镜头离物体的距离越近(不能小于最小拍摄距离),景深越浅。

通过前面的介绍,我们对镜头的重要参数有了进一步的了解,下面根据被测物体的属性及成像要求,对工业相机镜头进行选型。

选择工业相机镜头时,一般可以从以下几个方面进行分析计算。

第一,镜头所支持的传感器的最大尺寸不得小于所选相机的传感器尺寸,若相机传感器尺寸是1/3in,则镜头的传感器尺寸至少是1/3in,可以选择常见的1/3in、1/2in、2/3in等。

第二,选择合适的光学接口和转接环,若相机的光学接口为C接口,则镜头最好选择C接口,也可以选择CS接口和一个5mm转接环。

第三,光学放大倍率β可根据式(2-8)由传感器尺寸SS和视场FOV估算。

img

(2-8)

第四,焦距f可根据式(2-9)由光学放大倍率β和工作距离WD估算。

img

(2-9)

第五,镜头的分辨率img可根据式(2-10)由相机的像元尺寸ps估算。

img

(2-10)

【案例2】

根据以下要求选择合适的镜头:已知相机传感器尺寸为2/3in,像元尺寸为6.45μm×6.45μm,目标物体幅面为25mm×15mm,相机光学接口为C接口,工作距离为200mm。

【分析】

2/3in的相机传感器尺寸为8.8mm×6.6mm,目标物体幅面为25mm×15mm,所以光学放大倍率β

img

(2-11)

工作距离WD为200mm,根据式(2-9),焦距f约为52mm。

根据像元尺寸ps,可得镜头分辨率R

img

(2-12)

根据以上参数,通过查阅镜头厂家的产品手册可以得到具体的型号,从而完成对镜头的选择。

2.2.3 光源

光源的作用是给目标物体提供稳定的光照环境。通过选择合适的光源,使图像中的目标信息与背景信息得到最佳分离,可以大大降低图像处理算法分割和识别的难度,同时提高系统的定位、测量精度,从而提高系统的可靠性和综合性。对于机器视觉系统来说,光源的选择很重要,因为它没有通用的光源,所以针对每个特定的应用实例,要对光源参数进行定性分析,选择合适的光源。选择光源常用的参数有光源类型、光源颜色、照明方式、光源形状[4]

1.光源类型

光源主要有白炽灯、氙气灯、荧光灯和LED(发光二极管)等类型,如图2-24所示。

白炽灯通过在细细的灯丝中传输电流产生光,灯丝通常用金属钨。电流加热灯丝使其产生热辐射,灯丝温度极高,它的热辐射在可见光范围。另外,为了防止灯丝氧化,可在密闭玻璃灯泡中充满碘、溴等卤素气体或抽成真空。白炽灯的优点是在低电压时可以工作,发出色温为3000~3400K的连续光谱,光照相对较亮等;缺点是发热严重、能量转化率低、不能用作闪光灯、使用寿命短、易老化、亮度随着时间的推移迅速降低等[5]

img

图2-24 不同类型的光源

氙气灯的灯泡内充入的是惰性气体氙气,电离氙气会产生色温为5500~12000K的白光。它的优点是可以被用作200Hz的高亮闪光灯;缺点是供电复杂、成本昂贵、在几百万次闪光后出现老化等[5]

荧光灯通过电流激发充满氩、氖等惰性气体环境中的水银蒸汽,产生紫外光辐射,激发灯管管壁上的磷盐涂层发出荧光,使用不同的涂层可以产生色温为3000~6000K的可见光。荧光灯由交流电供电,因此会产生50Hz的闪烁。它的优点是价格便宜、照明面积大;缺点是使用寿命短、老化快、光谱分布不均匀、闪烁及不能用作闪光灯等。

LED是一种电致发光的半导体器件,能产生类似单色光的具有极窄光谱的光。它的发光亮度与通过的电流相关,发光的颜色取决于所用半导体材料的成分,可以作为红外光、可见光及近紫外光等单色光光源,甚至是复合光——白光光源。LED的优点是使用寿命长达100000h、可用作闪光灯、响应速度快、几乎没有老化现象、采用直流电供电、易控制、功耗低、发热小等;缺点是性能受环境温度影响严重。但是,基于如此多的优点,它是机器视觉系统的首选光源类型。

2.光源颜色

光谱中很大的一部分电磁波谱是人眼可见的,在380~780nm这个波长范围内的电磁辐射称为可见光,如图2-25所示。

img

图2-25 可见光光谱(单位:nm)

把可见光光谱中的色彩进行排序,将红色(780nm)连接到另一端的紫色(380nm),构成色环。如图2-26所示,机器视觉领域常用的色环包括6种不同的颜色,分为暖色和冷色两大类。暖色由红色调构成,包括红、橙、黄,而冷色由蓝色调构成,包括绿、蓝、紫。在选择光源颜色时,为了提高目标物体成像的对比度,通常选用与目标物体色温相反的光源。

img

图2-26 色环

3.照明方式

照明方式是对光源、目标物体与相机镜头的相对位置关系的描述。照明方式主要分为直接照明和背光照明。其中,直接照明又可以分为明场照明、暗场照明及同轴照明。

若相机镜头直接接收物体表面反射的光,物体表面清晰成像,这种方式称为直接照明。当需要得到高对比度的物体图像时,这种类型的照明方式很有效。但是,用这种方式将光照射在光滑的材料上时,会引起镜面的反光。

当光源照射物体的光线与相机镜头接收物体反射光线的夹角较小时,背景会被照亮,这种照明方式称为明场照明,也称为高角度照明,如图2-27(a)所示,其成像效果如图2-27(b)所示。

img

图2-27 明场照明

当光源照射物体的光线与相机镜头接收物体反射光线的夹角较大时,背景会变暗,这种照明方式称为暗场照明,也称为低角度照明,如图2-28(a)所示,其成像效果如图2-28(b)所示。

img

图2-28 暗场照明

当光源发出的光通过漫射板发散,照射到半透明反射分光片上时,该分光片将光反射到物体表面,再由物体反射到镜头中,由于物体反射后的光与相机处于同一个轴线上,因此,这种照明方式称为同轴照明。同轴照明能够凸显物体表面的不平整,避免表面反光造成的干扰。同轴照明方式如图2-29(a)所示,其成像效果如图2-29(b)所示。

img

图2-29 同轴照明

当光源发出的光一部分被不透明物体挡住,另一部分进入相机镜头时,这种照明方式称为背光照明。相比于物体表面,背光照明更加关注物体的轮廓细节,多用于尺寸测量和轮廓缺陷检测。背光照明方式如图2-30(a)所示,成像效果如图2-30(b)所示。

img

图2-30 背光照明

4.光源形状

光源形状自由度高,可以定制,常见的光源主要有线形光源、条形光源、环形光源、球积分光源、板形光源、点光源,部分光源示意如图2-31所示。

img

图2-31 部分光源示意

线形光源辐射面集中在一个长条形区域,可以配合线阵相机使用;条形光源、环形光源、球积分光源光照均匀,通常配合面阵相机使用;板形光源辐射面是一个接近正方形的区域,通常用作背光式照明来测量目标轮廓;点光源的照射面为一个较小的圆形区域,通常配合同轴的镜头使用。

【案例3】

选择合适的光源,对如图2-32所示的瓶盖表面(喷涂为红色)的白色字符进行检测。

img

图2-32 瓶盖样本

【分析】

瓶盖字符为白色,被红色喷涂干扰,应该选择红色的对比色光源进行抑制,这里选择蓝色光源;瓶盖的形状为圆形,可以选择环形光源或球积分光源;背景原本就是黑色,黑色可以吸收任何颜色的光,所以选择明场照明即可。

2.2.4 其他组成部分

下面对机器视觉系统的硬件系统中的计算机部分和机械控制系统进行简要介绍。

1.计算机部分

计算机部分在机器视觉系统中充当大脑的角色。它的作用是对光学成像系统采集的图像数据,调用图像处理算法提取目标物体的特征,进行定性和定量的分析,输出结果,并且给下位机发送相应的处理信号。

2.机械控制系统

机械控制系统的硬件主要包括支架、传感器、执行机构、可编程控制器和运动平台等。图2-33所示为机器视觉检测系统的流水线平台。

img

图2-33 机器视觉检测系统的流水线平台

支架的作用是保持拍摄物的空间位置,用于固定成像。

传感器的作用是检测目标物体是否移动到相机视野,以便相机采集图像,如流水线上的光电传感器、与电机同轴的编码器等。

执行机构的作用是根据可编程控制器指令执行剔除、抓取及分拣等动作,如机械手。

可编程控制器的作用是作为计算机的下位机,接收动作信号,驱动执行机构,如PLC和单片机等。

由相机、镜头、光源、计算机部分、机械控制系统组成的机器视觉检测系统实物如图2-34所示。

img

图2-34 机器视觉检测系统实物