扬尘检测数据记录

龙源期刊网

海量数据的相似重复记录检测算法

作者：周典瑞 周莲英

来源：《计算机应用》2013年第08期

摘 要：针对海量数据下相似重复记录检测算法的低查准率和低效率问题，采用综合加权法和基于字符串长度过滤法对数据集进行相似重复检测。综合加权法通过结合用户经验和数理统计法计算各属性的权重。基于字符串长度过滤法在相似检测过程中利用字符串间的长度差异提前结束编辑距离算法的计算，减少待匹配的记录数。实验结果表明，通过综合加权法计算的权重向量更加全面、准确反映出各属性的重要性，基于字符串的长度过滤法减少了记录间的比对时间，能够有效地解决海量数据的相似重复记录检测问题。

关键词：海量数据；相似重复记录；综合加权法；编辑距离

中图分类号： TP311

文献标志码：A

0 引言

高质量的数据是保证企业发展的重要前提，因此为了满足业务的需求，需要整合不同的数据源，由于整合的过程会产生一些语法上相同或相似并且代表同一现实实体的相似重复记录，这样会直接影响数据的质量，因此相似重复记录的清除成为提高数据质量的重要步骤。

记录间的相似性检测实质上是表征记录的各属性的相似性检测，由于各个属性对于记录之间的差异性贡献不同，应根据属性的重要程度为各个属性赋予相应的权重，以提高检测的精度。海量数据下的数据检测需要使用大量的时间和资源。

为了检测相似重复记录，目前采用的方法主要有：基本的字段匹配算法[1]、递归的字段匹配算法[2]、基于“排序&合并”方法[3]、采用距离函数模型的方法[4]、基于qgram算法[5]、基于聚类的算法[6]和基于人工智能的算法[7]等。传统的方法在进行相似重复记录检测时，需进行大量的磁盘I/O操作，这将导致时间和空间复杂度很高，基于聚类的算法计算量较大，准确率较低；而基于人工智能的算法推理过程复杂。李星毅等[8]为了提高查全率和检测的精度，采取多趟检测的技术和主观的等级赋权法，增加了大量的检测时间。传统方法多采用滑动窗口保存重复记录集，窗口的大小指定不合理，导致有些相似重复记录无法正确检测，降低了查全率。

文件编号：LY-JYK-013

辽渔医院检验科 NO 013 第1页，共1页

程序性文件 检测数据原始记录与保存制度 版本：第二版，第0次修改

生效日期：2009-08-15

1 1目的：对检验科检测数据原始记录与保存工作进行控制，确保检验工作正确、有效的进行，满足临床和患者的需要。

2适用范围：全体检验科工作人员。

3职责：

（1）检验科负责人负责编写此工作制度，并负责对实验室其他工作人员的培训。

（2）各工作室主管负责人负责监督制度的落实。

4内容：

检测数据原始记录与保存制度：

（1）生化实验室、临检实验室微生物实验室微机中储存的检验结果有专人定期（一年一次）复制到移动硬盘中，移动硬盘在科主任处保管，同时定期对微机中储存的检验结果进行删除，以保证微机的顺畅工作。手工记录的检验结果，如便常规检验记录，记录本记录完后交到科主任处，由科主任统一保管。

（2）免疫实验室的检验结果，包括原始记录单，定期（一个月一装订）交到科主任处保管。

（3）所有的检验记录，包括原始记录单、血库配血发血报告单（半联）均保存十年。

5相关性文件

LY-JYK-101《检验科工作制度》

6附表：

OD值及结果报表

检验日期： 空白： 微孔版号：

一、背景介绍

近年来，环境污染问题日益凸显，扬尘污染成为大气污染的主要来源之一。特别是在建筑施工现场，施工活动往往会产生大量扬尘，严重影响周边环境和居民的健康。监理施工现场扬尘治理工作显得尤为重要。

二、扬尘治理措施

1. 水喷洒：在进行扬尘源活动时，要对裸露地面进行定期的水喷洒，以抑制扬尘的产生。

2. 封闭施工：对于易产生大量扬尘的作业点，要采取封闭施工措施，减少扬尘的扩散。

3. 绿化覆盖：在施工现场周边增加绿化覆盖，利用植被来减缓扬尘的扩散。

4. 环境监测：定期对施工现场周边环境进行监测，及时发现和处理扬尘污染问题。

三、巡查记录表格式要求

监理施工现场扬尘治理巡查记录表应包括以下内容：

1. 巡查日期：记录巡查的具体日期。

2. 巡查地点：记录巡查的具体地点。

3. 巡查人员：记录参与巡查的监理人员名称及职务。

4. 扬尘治理情况：详细记录扬尘治理措施的执行情况，包括水喷洒、封闭施工、绿化覆盖等措施的具体执行情况。 5. 环境监测情况：记录环境监测的结果，包括空气质量监测、扬尘浓度监测等数据。

四、巡查记录表的填写方法

1. 巡查日期：填写具体的年、月、日。

2. 巡查地点：填写具体的施工现场部位。

3. 巡查人员：填写巡查人员的尊称及职务。

4. 扬尘治理情况：对已实施的扬尘治理措施逐一进行记录，包括执行情况、存在的问题及整改情况。

5. 环境监测情况：记录环境监测结果，如空气质量指数、PM2.5和PM10浓度等数据，并进行分析说明。

五、巡查记录表的整理与归档

1. 巡查记录表要按照时间顺序进行整理，并归入监理施工现场的档案管理系统中。

2. 对于发现的扬尘治理问题，要及时进行整改，并在记录表中进行详细说明。

3. 巡查记录表的保留年限为施工项目竣工验收后的5年。

第 页,共 页JB010401

///

≥42.5检测中/≥6.5检测中实测值出厂日期

3d

28d1.5符合要求

(%)9烧失量≥3.54.8符合要求

≥17.028.9符合要求83d5初凝

≤5.0≥300

4

7终凝

(mm)/水泥

试验依据GB/T208-2014 GB/8074-2008 GB/T1346-2011GB/T17671-1999判定依据GB175-2007

主要仪器设备及编号李氏比重瓶、电子天平、电热恒温水浴、自动比表测定仪、分析天平、水泥净浆搅拌机、水泥稠度凝结时间仪、沸煮箱、雷氏夹测定仪、水泥胶砂搅拌机、电子天平、胶砂试体成型振实台 恒加载水泥抗折抗压一体试验机、水泥（砼）恒温恒湿养护箱、恒温水养护箱委托/施工单位委托编号

工程部位/用途路基工程样品名称报告编号：

出厂编号样品描述BG-SN-20180425-01

WT-SN-20180421-01

工程名称样品编号YP-SN-20180421-01

2细度生产厂家

3密度(g/cm3)序号检测项目品种强度等级代表数量P.O 42.5

///(%)1

28d6(%)(cm2/g)比表面积

凝结时间 (min)

胶砂流动度

抗压强度（MPa）抗折强度（MPa）标准稠度用水量

安定性技术指标检测结果结果判定

3.04实测值

348符合要求

26.1

符合要求≥45139符合要求

≤3.0///水泥试验检测报告

试验室名称：

检测结论: 经检测，该水泥试样密度、标准稠度用水量为实测值，其余各项指标（除28天强度）均符合GB175-2007《通用硅酸盐水泥》的技术要求。

试验： 审核： 签发： 报告日期： （专用章）备 注:试验日期无受潮、无结块

≤600213