生产管理机械化岗位
徐丽明 刘星星 袁全春 马帅 于畅畅 段壮壮 邢洁洁 王烁烁
葡萄干是我国新疆地区的重要特产之一,随着我国鲜葡萄及其产后深加工产品葡萄干产量的不断增加,人们对葡萄干品质的要求越来越高,提高葡萄干品质等级的分级成为亟待解决的问题。研究葡萄干品质快速检测技术并进行等级分类可以在提高葡萄干品质的同时增加果农的经济收益,对葡萄产业的稳定发展有重要的推动作用。葡萄干品质分为外在品质和内在品质两个部分,内在品质检测主要通过标准的抽样检验手段完成,相关技术已经发展成熟。外在品质包括色泽、果形、果粒大小等特征,通常需要通过视觉相关的检测技术来实现。目前外在品质的分级工作主要依靠人力筛选完成,分级效率低,分级成本高,严重制约了我国新疆地区葡萄干产业规模的扩大和果农经济收益的增长。因此,葡萄干外在品质的自动化分级技术的研究受到国内外学者的广泛关注。目前主要使用的方法有光谱特征法、支持向量机和神经网络等。
1 国内外研究现状
1.1 国外研究现状
C.C. HUXSOLL等通过测量葡萄干透射的近红外光谱来检测葡萄干的质量(图1)。他们发现投射的近红外光谱与葡萄干的质量(密度、颜色等级、湿度等)具有极大的相关性。透射的近红外光谱可以用来对葡萄干的质量的自动化预测手段。并且近红外透射光谱还可以用来检测其他的重要参数。
M Omid 等研发了一套基于机器视觉的快速葡萄干分选系统,系统主要包括摄像头、图像采集卡、照明模块、PC上位机和机械结构(图2)。葡萄干分级算法首先去除图像中的背景只留下葡萄干,然后根据葡萄干的尺寸特征和颜色特征将其分为两个等级。最后计算葡萄干重心的位置,控制执行机构将不合格葡萄干剔除。经测试,分级准确率可以达到96%。
Shanmukhappa A. Angadi等提出一种简易的基于图像处理的葡萄干分级算法(图3),算法在Matlab中实现,通过读取手持摄像头拍摄的照片文件,经过预处理,提取特征,将RGB颜色特征与尺寸特征进行组合并利用人工神经网络分类器,可以实现95%的分类准确率。
Okamura, N.K.等研发了一种基于机器视觉的葡萄干分类系统,包括图像测试与分析算法(实现过程与图3所示流程类似,区别在于其中的神经网络分类器用贝叶斯算法代替),用来将葡萄干分为三个等级:优质、正常和劣质。算法的分类结果与使用光电传感器和高压气流进行分级的商业分选机以及人力分选结果进行了对比测试,其中人力分选结果作为分选真值作为参考,测试结果表明,基于机器视觉的分选结果准确率与商业光电传感器分选机相当,当具有更大的灵活性,可进行多级分选,并且通过程序的调整可以用于不同的分选任务。采用类似分类策略(特征提取加神经网络分类)的还有MollazadeK等人提出的基于图像处理及数据挖掘的分类算法。四种不同等级(绿色、绿色带果柄、黑色及黑色带果柄)的葡萄干图像通彩色CCD传感器采集,经过预处理和图像分割,44个特征(包括36个颜色特征和8个形状特征)被提取用于后期的分类算法。基于相关性的算法用于从所有提取的特征中选取合理的组合,其中7种特征被证明比其他特征可以更好的代表不同等级的葡萄干。四种不同的数据挖掘算法被用来根据选取的其中特征进行分类。测试结果显示,基于人工神经网络算法(拓扑结构为7-6-4)的分类准确率最高,为96.33%。然后依次为支持向量机95.67%,决策树94.67%,贝叶斯退火算法94.33%。
研究结果表明基于数据挖掘的算法可以用来提高葡萄干分选的准确率。JAT Pennington 等人提出一种用于对常见水果和蔬菜进行分类的聚类算法。可以将相似的进行归类,亦可用于对特定水果或蔬菜进行等级分类。
此外,其他水果的自动化分类研究也受到国外研究人员的广泛关注。Singh N等人构建了一套基于图像分析的核果颜色自动分类系统(图4),系统由照明模块,样本室,图像采集模块及机械传送带等组成。其中,样本室为透明塑料构成的球状结构,四盏特定色温的钨丝灯均匀分布在透明样本室的四周,钨丝灯的高度经过调整,尽量减少水果表面的阴影。摄像头安装在球状样本室的顶部,用来实时采集核果图像。在球状样本室的底部开有传动带窗口,可实现核果的连续输送。测试结果表明该系统单级颜色分类准确率可达75%,6级分类平均准确率46%。
Leemans V等人提出一种根据苹果外部品质特征对苹果进行自动化分析的方法。该方法基于苹果的图像,分类处理过程包括六个步骤:图像采集;基本颜色分类;检测分割;果杆检测;外部特征检测和最后的分类处理。通过苹果的几何、颜色、纹理及果杆等的参数使用聚类算法,实现了对金冠苹果和乔纳金苹果样本的自动分级,分级准确率分别达到78%和72%。根据样本量计算出实际分类准确率可达到70%,符合欧洲关于苹果分类的相关标准。
为了提高水果分级的效率和分级的一致性与连续性,Ohali YA设计了一种基于计算机视觉的水果自动分级系统。系统由计算机视觉模块和水果筛选机械模块组成。如图6所示,水果由投放机构放置于传送带上并送至图像采集箱,计算机视觉系统对采集到的图像进行处理,经过专家的指导,一些水果的外部特征被提取出来,然后利用反向传播神经网络分类器对水果进行三级划分,计算机根据划分结果控制传送带末端的水果筛选机械臂,将水果送入对应的存储箱内。测试结果显示,分类准确率达80%。
另外,Njoroge J. B.等人提出了一种可以同时对水果内部特征和外部特征进行筛选的自动分级系统。其中水果的外部特征(颜色、大小等)的使用彩色CCD被用来采集水果的外部图像特征,对图像进行计算处理并进行外部特征的分类。内部特征(酸度、含糖量等)使用对应的传感器来检测。此外,X光传感器用来检测水果的内部缺陷。实现了水果内外特征的一次性分级处理。
1.2 国内研究现状
于新杰等人提出了一种基于颜色和表面纹理组合特征的葡萄干分类算法。最小平方支持向量机、线性判别分析及相似分类法被用于对颜色和纹理的组合特征进行分类,测试结果表明,最小平方支持向量机算法具有最高分类准确率,达到95%。实现过程与图3中的算法类似,区别在于最后的分类器使用最小平方支持向量机代替人工神经网络分类器。赵云等人采用图像的方法对葡萄干的种类进行了区分。高光谱数据被用来提取图像特征,图片中的每个像素分别提取五种幅值特征,五种频率特征和五种相位特征。所有提取的十五种特征由一个三层神经网络进行分类(拓扑结构为8-3-1)。结果显示,高光谱数据提取特征的方法比传统的主成份分析法更加有效。为了准确鉴别葡萄干等级,刘小英等提出一种基于人工神经网络和 VPMCD 的葡萄干等级检测新方法。以新疆绿无核三个等级的葡萄干作为研究对象,提取颜色、形状的特征参数。采用 BP神经网络算法,对比各特征组合对识别率的影响,确定了识别率较高的 4 个特征参数组合。最后应用 VPMCD 方法进行样本训练并进行葡萄干等级检测。将提出的方法与 SVM、 BP 神经网络识别结果进行对比分析,结果表明,VPMCD算法识别率达到 100%,分级效果明显,运算时间少,识别精度高,为农产品等级检测提供了一个新途径。雪合拉提·木塔力甫等采用机器视觉技术,针对新疆无核白葡萄干的颜色特征进行分级研究,提取HIS颜色图像,采用中值滤波法滤波,采用最大类间方差法分割图像,采用形态学开运算去除二值图像中的伪目标区域,获得最佳二值图像。同时,分析色调灰度直方图和颜色矩均值直方图,确定采用H、S、I分量颜色的一阶矩、二阶矩、三阶矩作为特征值建立BP神经网络的色泽分级模型,分级准确率最高为96.42%。唐晶磊等通过分析葡萄干的特征参数组合对BP网络识别率的影响,确定最能反映葡萄干形态特征的参数作为等级识别的依据。以BP算法为基础,采用改进的BP算法,对网络进行训练;同时,建立了基于BP神经网络葡萄干分级鉴定模型。试验结果表明,该网络分级效果较好,其平均分级准确率达到93%。
1.3 商业化产品
目前商业化的可用于葡萄干分类的产品大多基于CCD传感器对葡萄干的颜色判别进而实现两级分类。图7为中瑞微视公司生产的6SXZ-272型四通道CCD枸杞色选机。其工作原理如图8所示。被选物(枸杞)从顶部的料斗进入枸杞色选机,通过振动器装置的振动,被选物料沿通道下滑,加速下落进入分选室内的观察区,并从传感器和背景板间穿过。在光源的作用下,根据光的强弱及颜色变化,使系统产生输出信号驱动电磁阀工作,将异色颗粒吹至次品槽内,被选物料继续下落至成品槽内,从而达到分选目的。
1.4 总结
综上所述,目前大部分葡萄干自动化分级算法采用特征提取并结合分类算法的思路进行(图9)。
通过图像采集设备获取葡萄干图像,经过一定的预处理过程,包括二值化、背景剔出、滤波降噪等,对处理后的图像进行特征提取。提取的特征包括颜色特征、形状特征、像素频率、亮度等特征。最后利用BP网络、贝叶斯分类器、支持向量机、聚类算法等数据挖掘分类算法对提取的特征进行总结和划分,从而得到葡萄干品质的分级结果。
如前所述,现有的葡萄干分级算法存在如下共性问题,大部分算法需要经过图像预处理和特征提取过程。图像的预处理需要大量的计算,耗时较长,影响检测和分类效率。特征提取过程需要根据经验和试验结果选取最优的特征参数。特征选取不恰当时,将大大影响分类的准确率。特征的选取依赖于分类产品的种类,分类算法的可移植性低,需要为每种产品选取不同的特征,增加了研发的成本和周期。商业化的产品出于分类速率的考量,大多只能实现两级分类。
2 存在问题和发展趋势
随着计算机硬件的发展,计算机处理能力迅速提高。近年来利用图像驱动卡(GPU)进行计算加速的算法日趋成熟,一些公司和机构也相继推出了开源的图像处理框架(Goole公司的TensorFlow,加州伯克利大学的Caffe),进一步推进了图像处理算法的速度和精度。在葡萄干品质自动分级领域,基于图像的分级算法也越来越多受到国内外研究人员的青睐。然而,现有的分级算法普遍要经过图像预处理和特征提取的过程,甚至有些特征提取的过程需要人工来完成,大大限制了分级算法的处理速度和自动化程度。而特征的选取需要根据经验来判断,并进行反复的试验确定最佳的特征组合,不利用分类算法的移植,增加了不同品类葡萄干分级的研发成本。
卷积人工神经网络可以自动进行,同时可以大幅度减少原始图像的数据量,加快图像处理速度。利用卷积网络实现的分类算法,只要经过简单的训练便可以用于其他品种葡萄干的分级任务,提高了研究成果的可移植性,降低研发成本。因此,利用卷积人工神经网络实现基于图像的葡萄干品质等级自动分类方法,可以一次性完成特征提取和等级分类,提高效率,将是未来葡萄干自动分级技术的发展趋势。