基于香烟包装机综合检测平台的大数据分析
- 格式:pdf
- 大小:1.33 MB
- 文档页数:3
大数据下卷烟厂统计工作研究随着科技的不断发展,大数据的应用已渗透到各个行业中,其中包括卷烟制造业。
大数据技术可以帮助卷烟厂进行生产和销售统计工作,从而更好地满足市场需求,提高生产效率,降低成本费用。
本文将对大数据在卷烟厂统计工作中的应用进行研究和分析。
一、大数据技术在卷烟厂统计工作中的应用1. 数据采集:卷烟厂生产过程中会产生大量的数据,包括原材料采购、生产车间运转情况、成品品质检测、包装和物流等方面。
大数据技术可以通过传感器、RFID等技术实时采集这些数据,并将其上传至数据中心进行存储和分析。
2. 数据存储:传统的数据存储方式已经无法满足大数据时代的需求,因此卷烟厂需要建立起高效、安全的数据存储系统。
大数据技术可以帮助卷烟厂建立起数据湖、数据仓库等存储系统,以便后续的数据分析和挖掘。
3. 数据分析:大数据技术可以帮助卷烟厂对海量的数据进行分析和挖掘,发现其中的潜在规律和关联。
通过数据分析,卷烟厂可以了解市场需求趋势、生产效率水平、产品质量情况等,为未来的生产和销售决策提供依据。
4. 数据可视化:大数据技术可以将复杂的数据以直观、易懂的图表形式展现出来,帮助卷烟厂管理人员更好地理解数据背后的含义,及时调整生产计划和销售策略。
1. 提高生产效率:大数据技术可以帮助卷烟厂实现生产过程的智能化监控和管理,及时发现生产过程中的问题并加以解决,提高生产效率和产品质量。
2. 降低成本费用:通过对大数据的分析,卷烟厂可以更好地控制原材料采购、生产流程、包装和物流等环节,降低生产成本和运营费用。
3. 提高销售额:大数据技术可以帮助卷烟厂对市场需求趋势进行预测和分析,及时调整产品结构和销售策略,更好地满足市场需求,提高销售额和市场份额。
4. 更精准的决策:大数据技术可以帮助卷烟厂管理人员了解生产和销售的实时情况,并通过数据分析进行预测和决策,提高决策的精准度和科学性。
1. 数据安全:卷烟厂生产过程中产生的数据涉及到生产工艺、商业秘密等敏感信息,数据泄露和安全风险是大数据应用中的一大挑战。
烟叶烘烤大数据综合管理系统的开发与应用在烟叶烘烤大数据综合管理的过程中,主要针对各方面信息进行采集以及分析,属于一体化多功能的信息管理系统,在建设相关数据平台以后,除了能够全面监测烟叶生产流程与材料特点之外,还能针对相关质量以及考核机制进行分析,获取到数据信息的支撑,具有较高的外溢性以及推广优势。
一、烟叶烘烤大数据综合管理平台功能架构分析(一)资源管理相关模块对于资源管理的模块而言,需要创建基础设施类型与人员管理类型的模块,每一座烤房都隶属在相关的基本种植单元,向上可以追溯到相关的站点以及公司,最终到具体的卷烟工业公司中,属于基础类型的设施架构。
与此同时在每个基本种植单元中,土壤气候条件以及烤房GPS信息等,都属于较为重要的数据内容,可以容纳烤房材料的品质数据信息、部位数据信息与成熟度数据信息等等,将其作为附加信息录入到相关系统中,为数据库的建设提供帮助。
另外,在原材料管理的过程中能够针对原材料数据信息进行合理的处理,构建出具体的实时化监测内容,预防材料烤坏问题。
(二)质量评价的相关追溯模块第一,曲线评价类型模块。
对于此类模块而言,可以针对烤房之内的温度数据信息、湿度数据信息进行合理处理,利用相关标准实现烘烤质量的自动化判断目的,为站点的质量巡检等提供高质量参考意见,在此过程中能够合理的反馈原材料的烘烤反馈数据信息,为创建曲线质量评价体系夯实基础[1]。
第二,指挥调度类型的模块。
在指挥调度方面应当做好模块的设计工作,根据实际状况正确开展模块设计工作,如表1所示,应结合模块的设计特点与需求进行全面分析,提升各方面工作效果。
在相关系统运行的过程中,需要先进行用户的登陆,在系统自动化识别用户等级之后,可以了解到烤烟材料质量情况与分布特点,自动化的形成相关统计报表以及区域之内的排名状况;在点击县级烤房之后,也可以全面的了解到质量状况,更好的编制统计报表,了解到区域之内的排名状况;在点击相关站点之内烤房系统之后,也可以全面的了解原材料质量特点,编制出统计报表,并且明确区域之内的排名状况,更好的进行分析探索[2]。
基于AI识别技术的大数据诊断在烟草病虫害综合治理中的应用发布时间:2021-07-02T14:13:12.223Z 来源:《中国科技信息》2021年8月作者:许汝冰1 李锡宏1 黎妍妍1 梅东海2 郭利3[导读] 基于AI识别技术+大数据诊断系统的烟草病虫害诊断应用,相较于传统的诊断方式,更加的快捷高效,诊断的精准度和全面性得到了提升。
1.湖北省烟草科学研究院湖北武汉 4300002.湖北省烟草公司湖北武汉 4300003.湖北省烟草公司襄阳市公司湖北襄阳 4410004.湖北省烟草公司十堰市公司湖北十堰 442000 许汝冰1 李锡宏1 黎妍妍1 梅东海2 郭利3 张友臣4摘要:基于AI识别技术+大数据诊断系统的烟草病虫害诊断应用,相较于传统的诊断方式,更加的快捷高效,诊断的精准度和全面性得到了提升。
建立大数据诊断系统的重难点在于海量数据的获取和相关算法模型的建立,只有保证数据数量足够,才能够保证模型建立的科学性,否则就会影响模型建立以及后期的烟草病虫害诊断。
所以未来还需要进一步优化算法,建立更加智能的分析系统,提高诊断水平。
关键词:AI识别技术;大数据诊断;烟草病虫害;应用引言:烟草作为以收获叶片为主的特殊农作物,对于农药的要求较高,并且由于是人体使用,因此对于烟草农药使用的要求越来越高,限制条件越来越多,因此必须要做到精准施药,对症下药。
不同的地区,病虫害危害有所不同,病虫害种类也有所不同。
如常见的“五病、四虫”,五病为黑胫病、黄瓜花叶病、烟草花叶病、野火病、赤星病,四虫为地老虎、金龟子、烟蚜、烟青虫。
同时外来物种以及病虫害演化,病虫害危害呈上升趋势。
但是传统的烟草病虫害防治方式,需要安排专业的技术人员检验作物叶片或者其他根部位置是否有侵害现象,但是一旦出现病虫害症状,说明病虫害已经开始出现侵染,就需要采用一定的防治措施或者大规模喷施农药,对于烟草农药残留含量来说极为不利的。
因此重要的在于如何快速诊断烟草病虫害已经成为了研究热点。
大数据下卷烟厂统计工作研究随着信息技术的快速发展和大数据技术的日益成熟,以及卷烟行业的不断发展壮大,卷烟厂的统计工作也面临着更大的挑战和机遇。
在大数据时代,如何运用大数据技术来优化卷烟厂的统计工作,提高生产效率和质量,成为了卷烟厂管理者和技术人员面临的重要课题。
本文将从大数据技术在卷烟厂统计工作中的应用、存在的问题和挑战、解决方案和发展前景等方面展开研究。
一、大数据技术在卷烟厂统计工作中的应用大数据技术在卷烟厂统计工作中的应用,主要体现在以下几个方面:1. 数据采集与存储:大数据技术可以实现对卷烟生产过程中的各项数据的快速采集和存储,包括原材料采购、生产过程监控、质量检测、包装及物流等环节的数据信息,确保数据的完整性和时效性。
2. 数据处理与分析:大数据技术可以通过数据处理和分析,对卷烟生产过程中的数据进行深度挖掘和分析,发现其中的规律和关联,为生产决策和质量控制提供科学依据。
3. 数据可视化与报表分析:大数据技术可以实现对统计数据的可视化展示和报表分析,为管理者和决策者提供直观清晰的数据展示和分析结果,帮助他们更好地把握生产和质量状况。
二、存在的问题和挑战在大数据技术在卷烟厂统计工作中的应用过程中,也面临着一些问题和挑战:1. 数据来源和完整性:卷烟生产过程中涉及的数据来源多样化,包括设备监控系统、生产管理系统、质检系统等,如何保证数据的完整性和准确性仍然是一个难题。
2. 数据分析和应用:大数据技术虽然可以对海量的数据进行分析,但如何从海量数据中提炼出有价值的信息和规律,以及将这些信息和规律应用到实际生产中,需要技术人员进行深入研究和探索。
3. 安全和隐私保护:大数据技术在应用过程中,数据的安全和隐私保护问题也备受关注,卷烟厂需要建立健全的数据安全管理体系,保障数据的安全和隐私不被泄露。
三、解决方案和发展前景针对以上问题和挑战,可以从以下几个方面探索解决方案:1. 数据一体化管理:卷烟厂可以建立一套完整的数据采集与管理系统,通过实现数据的一体化管理,确保数据的来源完整和准确,并提供数据质量的监控和评估机制。
基于RBF网络的香烟包装质量在线检测与诊断朱正为;张寿明【摘要】在生产香烟包装纸时,需要将不合格产品剔除,同时需要知道包装产品的优良率.针对香烟包装图案的特点,介绍了一种利用RBF网络在线检测和诊断香烟包装质量状况的方法.首先,采集具有典型特征的样本,建立足够数量的样本特征集.然后设计一个合适的RBF网络结构,采用样本集对网络进行训练和测试,最终得到一个实用的RBF诊断网络.实验表明,该系统完全能够满足质量检测的要求,可用于包装质量的在线诊断.【期刊名称】《现代电子技术》【年(卷),期】2006(029)014【总页数】3页(P142-144)【关键词】包装质量;RBF神经网络;特征提取;在线诊断【作者】朱正为;张寿明【作者单位】昆明理工大学,信息工程与自动化学院,云南,昆明,650051;西南科技大学,信息工程学院,四川,绵阳,621010;昆明理工大学,信息工程与自动化学院,云南,昆明,650051【正文语种】中文【中图分类】TP21 引言人工神经网络(Artificial Neural Network,ANN)技术作为一种自适应的模式识别技术,可通过自身的学习机制自动形成所要求的决策区域。
他可以对来自不同状态的信息逐一进行训练而获得某种映射关系。
他可以连续学习,如果环境发生改变,这种映射关系可以自适应地进行调整;兼有信号的模式变换和特征提取功能;对系统含有不确定因素、噪声及输入模式不完备的情况下不太敏感;可用于复杂多模式的状态诊断、离线诊断,也能适应实时监测的要求。
因此在状态诊断领域中有着越来越广泛的应用。
2 工程描述云南某香烟包装生产厂在印制包装的生产过程中,需要对包装图案进行在线检测和诊断,以便及时掌握包装的质量状况。
厂方要求所设计的检测与诊断系统能将生产的包装分为3个级别,即优良、合格及不合格,并将不合格产品(异常产品)予以标记。
由于一幅彩色图像的特征主要包括结构特征、纹理特征和颜色特征,结构特征主要包括图像的边缘、轮廓、图像的凹点/拐点及图像中象素的空间关系,纹理特征包括粗糙度、对比度、方向性、线条度、规则度和粗略度,颜色特征主要包括色度和饱和度等。
基于数据分析的卷烟生产工艺质量控制方法研究摘要:本文旨在研究基于数据分析的卷烟生产工艺质量控制方法,以提高卷烟生产过程的稳定性和质量可控性。
通过收集卷烟生产过程中的相关数据,运用数据分析方法进行挖掘和建模,提出了一套综合的质量控制方法,包括数据收集与处理、异常检测与预警、质量问题溯源和工艺优化等环节。
通过实验验证,该方法能够有效地监测和控制卷烟生产中的质量问题,提高生产工艺的稳定性和一致性。
关键词:数据分析;卷烟生产;质量控制;工艺优化一、引言近年来,随着社会的发展和人们对生活品质的要求不断提高,对卷烟的质量和口感也有了更高的要求。
在卷烟生产过程中,如何提高产品的质量稳定性和一致性成为了制造商面临的重要问题。
传统的质量控制方法往往依赖于人工经验和手工检测,存在着效率低、准确性不高等问题。
基于数据分析的质量控制方法成为了卷烟生产工艺优化的重要手段。
二、数据收集与处理数据收集与处理是基于数据分析的卷烟生产工艺质量控制方法的关键环节。
1.数据收集:在卷烟生产过程中,可以通过传感器和监测设备实时采集各种关键参数的数据。
这些参数可能包括生产线上的温度、湿度、速度等工艺参数,以及产品质量指标的抽样检测结果。
同时,也可以收集到与生产过程相关的其他信息,如材料配比、设备状态等。
数据的收集可以通过自动化数据采集系统或人工记录方式进行。
2.数据预处理:(1)在进行数据分析之前,需要对收集到的原始数据进行预处理。
预处理的目的是清洗和转换数据,使其适合后续的分析和建模。
预处理的步骤包括:(2)数据清洗:检测和处理数据中的异常值、缺失值和噪声,确保数据的质量和完整性。
(3)数据转换:对数据进行转换,使其符合分析和建模的要求。
例如,可以进行数据平滑、归一化、标准化等操作。
(4)特征提取:从原始数据中提取出与质量控制相关的特征。
这可以通过统计方法、信号处理技术或领域专业知识来实现。
3.数据存储:经过预处理后的数据需要进行存储,以备后续的分析和建模使用。
卷烟计量型测量系统的分析摘要:为准确了解卷烟计量型测量系统现状,将工序自检、过程巡检、出厂检验3个环节相同质量指标测量单元视为一个测量系统,采用MSA新方法对质量、圆周、长度、吸阻、硬度5个测量系统进行了分析。
结果表明:5个测量系统的研究公差比(%P/T)在10%~30% 之间,说明测量系统能力满足对产品质量判定的要求;除硬度测量系统外,4个测量系统的研究变异比(%R&R)在10%~30% 之间,说明测量系统能力满足对生产过程改进分析的要求。
关键词:计量型;测量系统分析(MSA);测量系统波动(R&R);研究公差比(%P/T);研究变异比(%R&R)Analysis of Cigarette Metrological Measurement SystemAbstract: In order to know the status quo of cigarette measurement system, five systems for measuring cigarette weight, circumference, length, draw resistance and hardness se parately in operator’s self-inspection, regular process inspection and ex-factory inspection were analyzed with MSA (measurement system analysis) method. The results showed that the precision to tolerance ratio(%P/T) of the five measurement systems ranged from 10% to 30%, which indicated that the capacity of measurement systems satisfied the requirements for product quality assessment; the repeatability and reproducibility ratio (% R&R) of four measurement systems (excluding hardness measurement system) ranged from 10% to 30%, which indicated that the capacity of the measurement systems satisfied the requirements for analysis and improvement of production process. Keywords: Measuring type; Measurement system analysis (MSA); Measurement system variation (R&R); Precision to tolerance ratio (%P/T); Repeatability and reproducibility ratio(%R&R)测量系统分析(MSA,Measurement System Analysis)是指用统计学方法了解测量系统中的各种波动源及其对测量结果的影响,判断测量系统是否符合使用要求的过程[1]。
基于大数据的烟叶质量评估平台的设计与应用作者:高荣孙忱来源:《计算机光盘软件与应用》2014年第24期摘要:烟叶质量受多种因素的影响,为实现烟叶质量分析、预测和预警的平台,设计并实现了基于大数据分析和云计算技术的Web大数据挖掘平台,通过采集抓取互联网上涵盖烟叶的整个种植周期的烟叶种植区气候、环境、土壤、病虫害等信息,辅以其他检测数据,利用大数据分析技术评估和预测烟叶的质量。
应用效果表明,利用大数据算法对影响烟叶质量的互联网数据进行挖掘分析,不仅可以用较小的人力物力完成更大覆盖区域的全面的烟叶质量评估,还可实现质量预测预警,为卷烟生产提供保障。
关键词:烟叶质量评估;大数据;Web数据挖掘中图分类号:TS46烟叶是卷烟工业企业生存和发展的基础,是对卷烟产品的发展具有制约作用的重要资源。
烟叶的品质、产量水平受气温、大气环境条件、土壤以及病虫害等生态条件和生产措施因素的影响,而烟叶原料的采购又具有范围广、数量大、种类多、结构宽等特点。
为保证烟叶的质量,需要对烟叶种植的整个周期进行监控。
传统的方式需要依靠现场实地抽检、监测,有着耗费人力物力比较大、收集到的信息量比较少、覆盖的种植区域比較小、最终数据汇总和处理比较困难、企业之间数据互通比较困难等缺点。
随着全球信息化和互联网技术的高速发展,互联网上出现了海量的数据信息。
大量的非结构化的天气信息、温湿度信息、病虫害的预报、土壤情况等信息都可以直接从互联网上采集到,利用这些数据来进行分析和预测,就是大数据处理技术的应用。
建立基于大数据的烟叶种植质量评估平台,可以避免传统监控方式的缺点,更快速、有效、准确的实现烟叶质量分析、预测、预警,从而为卷烟生产提供更好的保障和条件。
1 系统架构1.1 大数据分析与云计算技术大数据分析是从种类繁多的海量数据中,快速获得有价值信息的一种技术,它是商业智能的演进,正在改变世界的各个领域,从商业到医疗卫生、政府机构、农业和经济领域、人文以及社会的各个领域。
基于大数据的卷烟制造过程参数智能优化研究摘要:随着烟草工业企业从发展信息化建设以来,已积累了丰富的经验和大规模的大数据资产。
然而,由于企业内部生产自动化水平不高,各应用系统之间存在信息壁垒,缺乏实施智能制造的技术资源,导致制造过程难以摆脱人为干预,无法充分发挥数据价值。
为了支持企业具备大数据分析挖掘能力,加速智能化升级,本文提出了一个大数据分析平台技术体系架构,探索了卷烟制造过程参数的智能优化方法。
关键词:智能优化;大数据;卷烟制造1 基于大数据的建设背景自“十二五”规划落实以来,中国卷烟企业开展技术改革,优化卷烟制丝生产线,在相关措施的配合实施下,取得了显著的进步。
在这一时期,卷烟企业的自动化和信息化水平得到了大幅提升。
通过引入新的技术和设备,老旧的检测分析方式逐渐被先进的检测分析方式代替,提升了烟卷生产的水准。
随着卷烟企业信息化水平的提升,也面临着新的挑战。
海量的实时数据和连续数据产生,使得企业面临巨大的信息处理压力。
传统的参数优化方法往往依赖于经验和试错,效率较低且难以保证优化的准确性和稳定性。
因此,为了进一步提高卷烟制造过程的效率和质量水平,采用基于大数据技术的智能优化方法成为一种迫切需求。
结合机器学习和优化算法,建立智能化的参数优化系统,将能够从海量的生产数据中学习并分析参数与制品质量之间的关联,实现卷烟制造过程参数的智能优化,使其能够更好地应对日益激烈的市场竞争,迈向智慧化、数字化的未来。
2 智能优化研究的目的和意义烟草工业企业正面临着数字化建设的时代浪潮,积累了丰富的经验和大规模的大数据资产。
然而,由于长期缺乏实施智能制造的技术资源,企业在数据应用能力和分析水平方面存在不足,无法深挖大规模数据背后的隐藏价值。
这一现状对企业产业升级和效率提升构成了巨大障碍。
为解决这些挑战,本文旨在从大数据驱动的角度出发,专注于卷烟制造过程参数智能优化技术,为烟草工业企业提供以下解决方案:首先,通过大数据分析,企业能够更加准确地预测市场需求,实现快速计划调整,以更好地适应市场变化,从而提高市场竞争力。
/CHINA MANAGEMENT INFORMATIONIZATION基于香烟包装机综合检测平台的大数据分析钟放鸿,林翌臻,舒梦,林聪,沈冬晖,姚海滨(浙江中烟工业有限责任公司宁波卷烟厂,浙江宁波315040)[摘要]香烟包装机通过综合检测平台接入了大量的外挂检测器,可以获得大量的一线实时数据。
本文研究利用香烟包装机综合检测平台,利用大数据分析方法开发大数据分析软件,从中挖掘有用信息,用来指导故障定位,改进工艺过程,降低废品废料,提高生产效率和产品质量,不断提高生产制造水平。
[关键词]检测器;包装机;大数据分析;集控doi:10.3969/j.issn.1673-0194.2018.21.031[中图分类号]F270.7[文献标识码]A [文章编号]1673-0194(2018)21-0080-03[收稿日期]2018-07-06[基金项目]包装机综合质量检测平台(ZJZY2014D010)研究成果。
0引言香烟的包装是卷烟生产中非常重要的工序,包装质量不合格的产品流入市场会给企业声誉带来严重影响。
现在香烟生产企业为提高产品质量在包装机上加装了很多检测装置,但已安装的检测装置只实现了检测缺陷后剔除或告警的功能,并没有对生产的异常产品的原因进行分析,无法指导用户提高生产水平,减少残次品的比例。
这些检测装置可以集成到香烟包装机综合检测平台上,香烟包装机综合检测平台即能获取到大量的实时检测数据,一线实时检测数据直接反映了当前的生产状况、设备状况和包装质量,对这些数据运用大数据分析方法,进行提取分析,结果可以及时通知用户解决当前的故障,并通过具体的分析定位到具体的故障点,可以大大降低使用者和维护者的技术要求及工作强度。
利用信息化手段进行烟草生产过程数据的监测、预测、控制,对烟草成品质量的提升具有重要意义,最终推动生产制造水平的不断提升。
1设计思路1.1香烟包装机综合检测平台香烟包装机为检测包装质量不合格的产品在各个工位加装了很多外挂检测器,这些外挂检测器一般都独自运行,香烟包装机综合检测平台是为了把香烟包装机上大量的外挂检测器集中起来进行控制。
所有外挂检测器的逻辑处理都在该平台上运行。
该平台包含若干个虚拟机,每个虚拟机对应一个或多个外挂检测器的功能,这些虚拟机上就拥有了对应的大量实时运行和检测数据。
这些数据体现了机器运行状况、产品质量、异常状况等。
1.2大数据大数据的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。
适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
1.3大数据分析1.3.1可视化分析不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。
可视化可以直观地展示数据,让数据自己说话,让观众听到结果。
1.3.2数据挖掘算法可视化是给人看的,数据挖掘就是给机器看的。
集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。
这些算法不仅要处理大数据的量,也要处理大数据的速度。
1.3.3预测性分析能力数据挖掘可以让分析员更好地理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
1.3.4语义引擎我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析、提取、分析数据。
语义引擎需要被设计成能够从“文档”中智能提取信息。
1.3.5数据质量和数据管理数据质量和数据管理是一些管理方面的最佳实践。
通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
1.3.6数据存储,数据仓库数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立的关系型数据库。
为智能系统提供数据抽取、转换和加载(ETL),并按主题对数据进行查询和访问,为联机数据分析和数据挖掘提供数据平台。
中国管理信息化China Management Informationization2018年11月第21卷第21期Nov.,2018Vol.21,No.2180企业管理信息化1.4大数据处理具体的大数据处理方法其实有很多,但是根据长时间的实践,笔者总结了一个基本的大数据处理流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。
整个处理流程可以概括为四步,分别是采集、导入和预处理、统计和分析以及挖掘。
1.4.1采集大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。
在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能要收集成千上万的数据。
1.4.2导入/预处理虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型数据库,并且可以在导入基础上做一些简单的清洗和预处理工作。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆。
1.4.3统计/分析统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求。
统计与分析的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
1.4.4挖掘数据挖掘主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,实现一些高级别数据分析的需求。
比较典型的算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes,主要使用的工具有Hadoop的Mahout等。
该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。
圆系统设计香烟包装机综合检测平台的核心是中心服务器,外挂检测装置硬件通过路由器以以太网方式接入中心服务器。
中心服务器是整个平台的核心,部署了若干个虚拟机,完成所有的检测功能。
从各个虚拟机上可以获取所有的实时检测数据,大数据分析的来源就是这些数据。
本系统结构可以分为两部分,一部分是数据端,另一部分是处理端。
2.1数据端本研究需要的数据来源比较单一,各个虚拟机上运行的功能软件均能提供。
如下所述。
2.1.1烟支空头检测用于检测烟支两个端面,过滤嘴侧检查是否缺失过滤嘴,烟丝侧检测是否烟丝内陷、空头。
可以提供的数据有滤嘴图像、空头图像、烟支生产速度、剔除率、生产效率、异常报警等。
2.1.2五轮检测用于检测烟盒内衬纸是否缺失、褶皱、歪斜等。
可以提供的数据有小包内衬纸图像、当前位置小包的生产速度、剔除率、生产效率、异常报警等。
2.1.3小包外观检测用于检测包装机主机出口处的小包外观包装是否错牌、缺失、褶皱、歪斜、图案是否清晰等。
可以提供的数据有小包外观图像、当前位置小包的生产速度、剔除率、生产效率、异常报警等。
2.1.4散包检测用于检测包装机辅机入口处的小包包装是否错牌、缺失、褶皱、歪斜、图案是否清晰等。
可以提供的数据有小包外观图像、当前位置小包的生产速度、剔除率、生产效率、异常报警等。
2.1.5大条外观检测用于检测大条外观包装是否错牌,条盒缺失、褶皱、歪斜,透明纸褶皱、拉线错位,图案是否清晰等。
可以提供的数据有大条外观图像、当前位置大条的生产速度、剔除率、生产效率、异常报警等。
2.1.6条缺包检测用于检测大条里小包是否缺失、小包是否缺支等。
可以提供的数据有大条X光透视图像、当前位置大条生产速度、剔除率、生产效率、异常报警等。
2.2处理端处理端是大数据分析的核心,针对香烟包装机综合检测平台的特性,从实用性出发,结合日常生产中的实际需求,从以下方面展开分析。
2.2.1运行状况分析计算各个检测器的运行速度,并结合各个检测器的安装位置,设计一套运行状况模型,根据不断获得的数据去匹配运行状况模型,一旦发现偏移模型,说明有检测器运行不正常,可以及时进行报警。
例如某品牌烟生产速度模型为烟支生产速度8000支/分钟,小包生产速度为400包/分钟,大条生产速度为40条/分钟。
假如某一时段烟支空头检测上报的烟支生产速度为6000支/分钟,小包外观检测上报的小包生产速度为200包/分钟,依据生产模型和烟支空头检测的上报,小包外观检测上报的生产速度应该在300包/分钟左右,实际上获取的是200包/分钟,说明小包外观检测很有可能出现故障,此时就会报警,提示操作人员排查问题。
2.2.2异常分析建立异常处理库,从上报的异常进行匹配处理方法,不断完善异常处理库,这样日积月累后会覆盖所有的异常场景,使得维护处理人员越来越方便操作,越来越省事。
例如某个检测器时不时地报CCD1连接异常,但又没有实际报警,此时很有可能是网络接头松动,系统自动及时提醒维护人员排查网络接线。
例如某个检测器获取的图像模糊不清晰,说明有可能是相机镜头松动,系统通过软件进行图像分析可以及时识别出来图像已经模糊了,系统自动及时提醒维护人员进行排查CCD相机81CHINA MANAGEMENT INFORMATIONIZATION//CHINA MANAGEMENT INFORMATIONIZATION川庆井筒工程大数据平台建设与应用钱浩东1,温馨1,陈思锦2(1.中石油川庆钻探工程有限公司钻采工程技术研究院,四川德阳618000;2.中石油川庆钻探工程有限公司信息管理部,成都610051)[摘要]井筒工程大数据平台以井筒工程为主线,把围绕井筒工程的各种活动进行关联,是集合钻井、录井、测井、井下作业工程数据为一体的综合信息应用平台。
经过多年的技术攻关,平台实现了对作业现场实时数据监控及预警、钻井辅助决策、随钻地质导向、钻井辅助设计等应用功能,是信息技术与钻完井工程的最优结合方案,也是川庆公司利用信息技术实现“降本增效、转型升级”的重要手段。
目前该平台已在川渝地区全面推广应用,标志着川庆公司已由“经验”钻井逐渐迈入“智慧”钻井的阶段,下一步平台将向智能决策、专家系统的阶段发展。
[关键词]一体化数据库;大数据;钻井工程;应用系统doi:10.3969/j.issn.1673-0194.2018.21.032[中图分类号]F270[文献标识码]A [文章编号]1673-0194(2018)21-0082-03[收稿日期]2018-08-03[作者简介]钱浩东(1968-),男,高级工程师,川庆公司二级信息技术专家,主要研究方向:钻井信息系统,信息工程。