大数据技术在大气监测中的应用

中国资源综合利用Ｃｈｉｎａ　Ｒｅｓｏｕｒｃｅｓ　Ｃｏｍｐｒｅｈｅｎｓｉｖｅ　ＵｔｉｌｉｚａｔｉｏｎVol.36，No.112018年11月

－　１４２　－环境保护大数据技术在大气监测中的应用卞志浩（张家港市环境监测站，江苏 张家港 215600）摘要：本文主要结合我国大气监测污染防治的实际应用，对大数据技术在大气监测中所发挥的作用进行重点阐述，并对其融合开放性进行重点研究。最后分析了大数据应用于大气污染防治和大气监测的具体案例，探讨了物联网技术的发展对建立高精密度大气污染监测体系和数据共享平台的意义，进而为大气监测研究人员提供借鉴和参考。关键词：大数据技术；大气监测；数据共享平台中图分类号：X831 文献标识码：A 文章编号：1008-9500(2018)11-0142-03Application of Big Data Technology in Atmospheric MonitoringBian Zhihao(Zhangjiagang City Environmental Monitoring Station, Zhangjiagang 215600, China)Abstract: This paper mainly combines the practical application of atmospheric pollution prevention and control in China, analyzes the role of big data technology in atmospheric monitoring, and focuses on its integration and openness. Finally, the specific cases of big data applied to air pollution prevention and atmospheric monitoring were analyzed. The significance of the development of Internet of Things technology to establish a high-precision air pollution monitoring system and data sharing platform is discussed, which provides reference and reference for atmospheric monitoring researchers.Keywords: big data technology; atmospheric monitoring; data sharing platform我国正在逐步建设生态文明社会，因此在社会发展的过程中更加注重环境保护。而在环境污染防治中，大气环境与人们的生活息息相关，因此大气污染数据将极大影响生态文明建设的进程。大气污染监测部门能够利用有效的数据来对大气污染程度进行监测，有效监控大气污染，并且进行大气环境污染的数据统计工作。通过开展一系列监测，大气污染监测部门积累了大量数据资源，这些数据一般采用联网发布的形式，在日积月累的过程中逐步形成了大数据的特征，在数据规模上具有海量特征。大气监测数据具有较强的流动性，整体数据类型多种多样，具备较高的资源价值，在大气污染防治和大气环境保护中可以发挥重要的作用，使人明确大气污染防治方向。大气数据监测技术受到各种数据统计信息的影响，使得监测结果具有一定误差，并不具备相应的准确性，代表性比较差。因此，相关技术人员需要将大数据技术应用于大气污染环境治理中，进而为建设生态文明社会提供助力。信息数据在各行各业中大量产生，并且伴随着传媒的渠道推广至全社会每一层面上，为人民的生活提供便利服务[1-2]。因此，信息存储与处理功能日渐突出，环境建设部门在环境统计和科研过程中所累积的数据信息能够有效用于生产实践研究，人们必须提高数据信息采集和统计效率，进而为大气污染防治提供更有效的技术支撑。1 大数据技术应用于大气监测的关键要点1.1 秉持开放性思维，坚持创新性观点为了有效发挥大数据资源所带来的整体效应，人们必须充分挖掘其资源价值，在整体应用过程中体现其开放性的思维。比如，在大气污染监测中，必须加大监测力度，环境监测部门要将监测结果向公众开放，将污染程度的知情权重新赋予群众。同时，环境监测部门需要将大气监测数据运用到大气污染防治工作中，政府部门的主要工作是搭建大气数据监测平台，收稿日期：2018-09-05作者简介：卞志浩（1979-），男，江苏张家港人，工程师，研究方向：环境监测。第11期

－　１４３　－卞志浩：大数据技术在大气监测中的应用环境保护适时引入激励机制，将企业和个人的环境监测设备纳入整个大气污染监测网络中，作为政府环境监测网络的有效补充。政府部门需要扩大大气数据监测平台中的数据开放力度，在选择空气监测网络设备时将移动式和穿戴式设备纳入整体监测系统，这种较为灵活方便的布点方式能够有效解决大气监测数据点密度不符合国家标准要求的问题。对一些无法到达的地方，可以采用移动设备对移动污染源进行有效监控，以提高大气数据监测的有效性，提高其整体应用性，并且数据监测期间可以利用数据分析的方法，对监测数据进行校正和有效处理。1.2 支持数据共享的原则大气监测和大气污染防治不能仅仅依靠环境保护部门单打独斗，其工作任务的完成需要多部门协同。在大气污染防治中，由于污染具有移动性，因此日常监测面临复杂的环境，必须加强数据的共享性。在较为低廉的使用成本下，数据共享可以使数据资源发挥最大的潜力，得到最大程度的利用。在大气监测数据库中，数据就如同石油资源一样，拥有显著的使用价值，但数据只有产生流动性，通过共享，才能发挥更大的使用价值。我国应大力提升大气监测数据的开放性和共享性，诸多部门获取环保数据成本过高，共享机制和合作机制还不够显著，因此无法满足数据共享平台的需求。为了达到支持数据共享的目的，相关部门必须打破垄断，加强数据共通，完善合作机制，突破地域限制。相关部门需要消除数据共享会给自身带来不利影响这种错误认识，大胆摸索数据管理经验，只有让数据在共享中充分流动起来，大数据资源才能真正发挥应有的价值，才能实现充分利用。1.3 行业壁垒要消除监测人员可以利用大气监测数据来综合治理大气污染，如果大气污染监测的数据标准不统一，就很难形成资源上的交换，因此获取大气数据资源成本比较高，无法真正达到大数据资源的共享和流动。由于体制原因，我国环保数据在标准化和规范化上相较发达国家落后。我国环保数据来源广泛，环保数据监测的方式各不相同。各个监测部门出于自身考虑，往往具有不同的环境数据监测体系，导致环境数据标准不统一，进而影响大气数据监测。另外，数据采集原则不同，其划分标准往往不统一，因此无法形成统一的测量尺度，数据无法对接，造成交流障碍。大气数据在跨部门交流合作上出现严重的部门壁垒，难以有效整合，给大数据的利用带来严重阻碍。因此，环境监测部门应该推动大气监测数据标准一体化，使得大气监测数据在各个部门能够顺畅流通，打破行业壁垒，形成数据模型之间统一的接口，建立统一的数据模型。1.4 充分发挥数据融合的价值大数据的价值并不在于数量，而在于流动所产生的协同效果，它能够促使数据相互融合，发挥更多的潜在价值，同时为人们科学决策提供依据。在大气污染防治中，由于监测数量和监测目标的变化，每天都会产生海量数据。空气质量预报的影响因素比较复杂，人们需要结合地面观测数据、空气质量观测数据、大气外部观测数据等数据，从科学角度进行判断。同时，人们需要采用统一的原则和方法来收集数据，从而形成统一的数据预报模型，保证空气质量预报工作做到扎实有效。从总体来看，如果大气监测应用大数据只是为了堆积数据，就无法创造更多的价值。因此，人们必须将相关数据充分融合，充分发挥其背后的价值。以卫星遥感数据为例，利用现代科学技术，遥感卫星能够分析海量数据，采用深度学习和人工智能的方法处理海量信息，进行实时分析与验证，同时能够有效补充测量数据的连续性，以提高数据整体的稳定性。因此，遥感卫星能够对大气污染源进行动态监测，根据数据分析的内容，寻找污染源。在空气质量和空气污染分析中，它能够得到更为真实的效果，提高空气质量播报的准确度，为防治空气污染奠定良好的技术 基础。2 大数据在大气污染防治中的应用2.1 需要建设物联网监测体系随着我国城镇化建设步伐逐步加快，城镇产业区逐步面临深度调整的格局，使城市整体规划趋于合理，因此城市功能布局必将发生巨大变化。这就带来一个严峻的问题，原有的固定空气质量检测点已经不能满足城市发展需求，也无法满足城市测量空气质量需求。为了得到真实、有效的空气质量数据，人们必须对原有的空气质量检测点进行现代改造。物联网技术以传感器为核心，并结合现代传输工具，建立高密度、高精度的监测网络。这种监测网中国资源综合利用第11期

－　１４４　－环境保护络打破了原有固定空气质量监测点的格局，将固定空气质量监测点、移动空气质量监测点、网络空气质量监测点等结合，能够实现全天候、立体化的空气质量监测，实现空气质量全覆盖的目标。以物联网为中心的空气质量检测系统能够有效实现空气质量检测的全覆盖，使得空气质量检测系统所测得的数据能够真实反映出所在地区的实际污染情况，通过分析大气污染数据，判断污染传播的整体过程，分析污染源，及时弄清污染发生的过程。2.2 大数据平台的整体建设大气监测数据较为复杂，分属于不同部门，有时大气监测数据需要跨部门整合，因此人们需要制定综合的数据分析方法，以提高数据分析的整体效率。以往数据分析在地域上具有割裂的特性，因此数据无法实现真正的流动。为了达到数据充分利用的目的，人们可以搭建大数据共享平台，在共享平台中维护和处理数据，以提高数据的利用效率。为了储存大数据，必须建立相应的数据库，同时加强对数据库的维护和管理，建立大数据服务接口。2.3 构建数字化污染防治模型要想准确获得大气污染数据，人们就必须构建精密的数学模型，通过精确计算来获得大气污染的真实数据，提高大气污染防治的准确性。值得注意的是，大气污染能够与其他各种污染发生耦合反应，从而影响自身防治，使得数字模型在大气污染防治中的作用更加明显。我国对大气污染防治模型的研究起步较晚，很难短期内通过科学技术手段构建大气污染防治体系，因此在建立模型时必须克服相应的误差，有效优化空气质量预测模型。如果采用大数据空气质量预报体系，就能有效解决参数优化问题，通过自适应函数直接修改参数，同时能将数据长期优化，寻找现实数据和隶属数据的关系，并且通过实际模型找到统计误差，探寻解决误差的办法。3 案例研究一般来说，影响大气监测数据检测和智能诊断的主要是数据结果，因此人们必须考虑大气数据查询和数据测试的整体性能。本文简要概述了HBase数据查询性能测试表（见表1）和HBase数据导入性能测试表，分析了HBase大数据分析技术在环境保护数据监测中的应用。表1 HBase数据查询性能测试数据记录总数数据查询结果记录数响应时间（s）11381104111005511 00062101471010501010067101 000861001501001053100100701001 000861 0001521 00010561 000100951 0001 00095图1为性能测试图，由此可以看出，随着导入数据的逐渐增加，导入批量数据的时间逐渐增加，但是千万级的数据仍然维持在秒一级。