大数据技术在环境监测中的应用程燕
发表时间：2019-09-11T14:21:34.530Z 来源：《基层建设》2019年第16期作者：程燕
[导读] 摘要：当前是一个信息化时代，各行各业都有着大量的信息需要去处理，因此与互联网所伴生的大数据技术应运而生，它可以同时对大量及多样化的信息进行合理的分类和总结，发挥着重要的作用。
伊犁哈萨克自治州生态环境局尼勒克县分局新疆维吾尔自治区 835700
摘要：当前是一个信息化时代，各行各业都有着大量的信息需要去处理，因此与互联网所伴生的大数据技术应运而生，它可以同时对大量及多样化的信息进行合理的分类和总结，发挥着重要的作用。环境监测就是通过对环境污染因子的分析，结合多种环境信息进行最终的结果评价与未来发展预测，它也有着自身的信息收集与处理系统，而且传统的信息收集与处理系统已经不能满足当前环境监测的需求，因此将大数据技术运用到环境监测行业中已成为一种必然的趋势。
关键词：环境监测；大数据技术；应用策略
环境监测大数据实际上也是在国家大数据的整个建设趋势下发展。环保部在这方面非常重视，在过去几年中，发布了生态环境大数据建设总体方案，提出在未来五年实现三个目标，一是用数据管理，将环境监管精准化，这代表数据的监管。环境的监测、监察、执法、预警都是要用数据说话；二是用数据决策，将综合决策科学化，这个科学化就是用数据说话；三是用数据服务，将公共服务便民化。新《环保法》公布后，环境数据要对外公开、透明。同时，应让更多的公众参与到环境治理中，切实做好为公众服务。
1.概述大数据技术的应用价值
处于信息经济时代当中，互联网成为人们日常生活中不可分割的一部分，在实际的工作生活中因此而产生了大量的数据供人们参考使用。所谓大数据，即是指当人们采取必要信息的过程中，不仅仅局限于一种单一化的物体或者参考物进行分析，而是对海量数据进行全面分析科学处理。随着大数据技术不断更迭发展，大数据的定义与内涵也被不断丰富与完善，从大数据整体角度来说，其所具备的优点在于数据量丰富、数据运算迅速、种类多种多样等，所以在环境监测的应用中具有重要的参考价值与实用价值。
2.分析环境监测中应用大数据技术存在的不足
2.1环境监测数据信息保密工作不完善
现阶段，大数据已经被广泛的应用于环境监测工作中。而当环境监测人员完成环境监测工作以后，便将获取的海量数据直接存储与数据保护库当中，但是由于监测人员主要采用信息化保存方法，在应用过程中无法满足信息化保存的基本要求。所以，利用信息技术进行数据储存工作时出现了各种难题与故障。例如，环境监测人员利用信息技术保存数据化信息之后，并未完善信息保密工作，导致环境监测信息容易被不法分子轻易破解，甚至造成数据泄漏问题，严重损害了环境监测单位的经济效益。
2.2网络环境缺乏安全性
众所周知，互联网是一把双刃剑，当为人们的工作生活带来极大便利的同时，随着而来的是网络不安全性带来的威胁，其中主要以信息泄露与网络攻击为主。由于存在这种不安全性，导致环境监测过程中无法保证信息的安全性，使得环境监测机构在实际工作过程中增添了一定的难度。由于环境监测完成以后，不可避免的要进行信息传递工作，当政府部门与环保部门在进行信息传递的过程中便会出现信息泄露的风险。即使当前环境监测部门已经开展了信息保障措施，但是效果仍然不理想，同时由于环境监测中存在一定的法律制度缺陷，导致网络犯罪信息泄露事件屡屡发生，使得政府部门的信息安全受到严重威胁。
2.3环境监测数据清理不彻底
当利用大数据进行环境监测时，通常会产生大量的环境监测数据，由于信息采集并未明确规定相关要求，使得信息采集工作往往不够完善，甚至出现一些无关性数据。故此，若想确保大数据采集的精准性，提升环境监测数据采集效率，则应该完善信息清理工作，充分挖掘大数据的应用价值，确保环境监测数据采集的准确性与完善性。然而，在实际的数据清理工作中，由于环境监测人员并未对数据清理工作进行分类，甚至对正在采集的数据信息进行处理，致使数据采集工作效率与质量不断下降。
3.加强大数据技术在环境监测中的合理应用策略
3.1利用大数据对环境监测内容进行分类
将大数据应用于环境监测中，可以合理的对环境监测数据进行分类。其一，对生态环境监测产生的数据，主要包括：降水监测数据、气象监测数据、土壤监测数据、电磁辐射监测数据等。这些数据主要由环境质量监测部门产生，并应用于监测生态质量工作中。其次，污染源排放数据。主要包括：废气污染源、在线监管数据、污染费征收等。这些数据主要应用于环境的监管工作当中。最后，人类活动产生的环境数据。主要包括生活垃圾、地理国情、用水量等，这些数据通常以数据库或者图像的形式存在，用于环境数据统计管理中。
3.2加强信息保密系统
在对信息数据进行保证的过程中，不仅需要专业的硬件设备，同时还需要强大的网监系统为数据的储存保驾护航。对于工作人员来说，需要工作人员能够转变传统思想观念，在工作人员在对信息进行储存之后，还要对数据化信息做到全面的保密处理，或者全面完善保密工作，同时在对数据信息进行加密时，可以采用相对严谨的密码方式，同时对密码进行严格控制，设置防火墙，保证环境检测单位工作完善进行。
3.3建立安全可靠的网络环境
由于环境监测工作完成后，需要将信息传递给政府部门，所以环境监测人员应该结合工作情况加强信息的保密工作，确保传输过程中不会发生信息泄露的事件。举例来说，环境监测部门在传递信息过程中，首先应该设置好信息密保，确保信息数据的安全性；其次，数据传输应该采取专门渠道，既要保证信息传输的速度，同时应该确保信息传输的安全。
3.4优化环境监测数据处理工作
在环境监测过程中，一旦数据存储工作流程出现问题，将导致储存设备无法正常运行，进而造成数据的损坏与丢失，所以为了保证数据的有效性应该对数据进行定期处理。例如，利用大数据对环境监测数据进行分类整理，对一些出现问题的数据采取补救措施，进而借助于人工模式加强信息数据的补采。
3.5借助于大数据提升生态环境综合预警水平
环境监测中涵盖着海量的数据信息，监测人员可以借助于大数据来对海量的、分散的环保数据进行数据挖掘，并通过科学的分析来掌
环境监测系统解决方案 一、系统概要本综合管控云平台是一套基于云计算的物联网综合管控云服务平台。平台可适配于各种物联网应用系统，实时监控管理接入设备的状态与运行情况， 并对设备进行远程操作，通过云平台对接物联网设备做到精确感知、精准操作、精细管理，提供稳定、可靠、低成本维护的一站式云端物联网平台。环境监测系统通过对现场温度、湿度、光照、风向、风速、PM2.5、气压等参数的数据采集，将参数数据远传至物联网云平台，实现现场各个设备的数据实时监测，用户可以通过电脑网页或是手机app 实时查看，可以自由设置各个参数的标准值上下限，如果数据超限可以给相关的工作人员发送短信或是微信报警提醒，做到提前预警， 避免造成不必要的损失，实现在远程就能值守现场设备。 二、拓扑图 现场传感器数据通过物联网中继器上传云平台，客户通过电脑网页或是手机app 可以实时监控现场设备数据。
875物联网中继器 传感器 PM 2.5 Pe 端 移动端 Padyf5 ??n ? ?f 光 照 度 二氧化碳
三、系统构成 3.1 系统登陆 ① PC 端登陆: 本系统采用B/S架构，PC端用户只需打开浏览器通过IP地址进入管理系统，凭管理员分配的用户名密码进行登陆管理。（登陆界面可定制企业logo 及信息）如下图: ② 手机端登陆：用户可在任何有本地局域网信号的地方，通过IOS或Android 版本APP登陆系统，登陆账号与PC端账号相同。IOS 版本APP请在Apple Store搜索“易云系统”进行下载，安卓版本请在“易云物联网系统”公众号或PC端系统中扫描二维码进行下载。 3.2 数据监控 能够便捷监控实时数据，并且可通过数据变化自动启停其他设备，各项数据可用数值、图片、文字分别展示，并通过短信等功能向用户发送报警信息。另外，可设定不同的监控点，更直观的监测每个测温点实时情况，模拟真实的设备位置分布。如下图：
大数据技术与应用专业建设 调研报告 自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划（2016～2020年）》等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。 2015年9月5日经李克强总理签批，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。 职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。
一、调研目的 1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等； 2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求； 3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价； 4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。 二、调研方式 1.问卷调查：印制问卷涵寄或面交，请企业相关人员作答。 2.实地调研：教师到企业和用人单位实地调研。 3.座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。 4.网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。 三、国内外大数据发展现状 （一）大数据产业呈现爆炸式增长 由IDC和EMC联合发布的《The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things》研究报告中指出，2011年全球数据总量已达到1.8ZB，并将以每两年翻一番的速度增长，
第７期 ２４ ２０１４年４月１０日 计算机教育 ＣｏｍｐｕｔｅｒＥｄｕｃａｔｉｏｎ ◆新视点 文章编号：１６７２．５９１３（２０１４）０７—００２４－０６ 中图分类号：Ｇ６４２ 大数据分析及其在医疗领域中的应用 邹北骥 （中南大学信息科学与工程学院，湖南长沙４１００８３） 摘要：互联网和物联网技术的快速发展给数据的上传与下载带来了前所未有的便利，使得互联网上 的数据量急剧增长，由此产生了针对大数据的存储、计算、分析、处理等新问题，尤其是对大数据的挖掘。文章分析当前大数据产生的背景，阐述大数据的基本特征及其应用，结合医疗领域，论述医疗 大数据分析的目的、意义和主要方法。 关键词：大数据；物联网；医疗；大数据挖掘 １ 大数据早已存在，为何现在称之为大
数据时代 计算与数据是一对孪生姐妹，计算需要数据，数据通过计算产生新的价值。数据是客观事 物的定量表达，来自于客观世界并早已存在。例 如，半个世纪前，全球的人口数量就有数十亿，与之相关的数据就是大数据；但是在那个时代，由于技术的局限性，大数据的采集、存储和处理 还难以实现。 互联网时代之前，采集世界各地的数据并让它们快速地进入计算系统几乎是一件不可想象的 事情。２０世纪８０年代兴起的互联网技术在近３０ 年里发生了翻天覆地的变化，彻底地改变了人们的工作和生活方式【ｌ】。通过互联网人们不仅可以下载到新闻、小说、论文等各类文字数据，而且可以轻而易举地下载到音乐、图像和视频等多媒体数据，这使得互联网上的数据流量急剧增长。据统计，现在互联网上每分钟流人流出的数 据量达到１ ０００ ＰＢ，即１０亿 ＧＢｔ２１。 推动大数据产生的另一个重要因素是物联网技术。近几年发展起来的物联网技 术通过给每个物品贴上标签 并应用ＲＦＩＤ等技术实现了
环境监测课程教学大纲 课程名称：环境监测课程性质：XXX 总学时：64 学分：4 适用专业：环境工程开课单位：XXX 先修课程：无机化学、分析化学、有机化学、环境微生物学 一、课程性质、目的 环境监测是环境科学、环境工程、资源与环境、给水与排水工程等相关专业本科生的一门专业基础课，是环境科学与工程学科中具有综合性、实践性、时代性和创新性的一门重要的理论与方法课程。本课程是环境科学、环境工程和环境管理各领域的基础，是环境保护和环境科学研究不可缺少的，对环境保护的各个方面具有重大影响。 按监测对象学习，本课程主要讲述水和废水监测、大气和废气监测、固体废物监测、土壤污染监测、生物污染监测、噪声监测、环境放射性监测等内容。按测定项目学习，包括汞、镉、铬、铅、砷等重金属，氰化物、氟化物、硫化物、含氮化合物，水中溶解氧、生化需氧量、化学需氧量、酚类、油类，大气中SO2、NO X、TSP、PM10、CO、O3、烃类等气态污染物，光化学烟雾等二次污染物，颗粒物，多环芳烃类、二噁英类等重要有机污染物，以及酸雨项目监测等。按监测程序学习，本课程主要讲述各类环境监测的方案设计，优化布点、样品的采集、运输及保存，样品的预处理及测定，数据的处理及信息化，监测过程的质量保证等的内容。 按监测方法学习，主要讲述化学分析、仪器分析以及生物方法；主要为标准方法和正在推广的新的常规监测技术，还介绍一些行之有效的简易监测技术，及迅速发展的连续自动监测技术等内容。 本课程的教学目的是通过对上述内容的理论教学与实践教学，使学生掌握环境监测的基本概念、基本原理及相关法规，监测方法的科学原理和技术关键、各类监测方法的特点及适用范围等一系列理论与技术问题；掌握监测方案设计，优化布点、样品的采集、运输及保存，样品的预处理和分析测定、监测过程的质量保证、数据处理与分析评价的基本技能；了解环境监测新方法、新技术及其发展趋势。培养学生今后在监测数据收集、整理和评价等方面达到独立开展工作的能力，培养学生具有综合应用多种方法处理环境监测实践问题的能力，进一步培养与时俱进、发展新方法和新技术的创新思维和创新能力。为后期课程和将来的环境科学与工程研究、环境保护工作奠定良好的基础。 二、课程主要知识点及基本要求 第一章绪论 （一）目的与要求 1．了解环境监测的目的及分类。 2．掌握环境监测的一般过程或程序。 3．掌握优先污染物和优先监测的概念。 4．了解制订环境标准的原则及制订环境标准的作用、分类、分级情况。 5．掌握大气、水、土壤等最新的环境质量标准及其应用范围；了解各类污染物的控制或
环境监测数据分析中层次聚类分析应用-环境科学论文-工业论文 ——文章均为WORD文档，下载后可直接编辑使用亦可打印—— 摘要：层次聚类分析作为一种常用的聚类分析方法，能有效识别环境监测数据集中的隐藏关系。文章主要介绍了层次聚类分析在水、大气、土壤等环境监测数据分析中的应用，提出以热图形式优化层次聚类分析可视化结果，并对热图在土壤污染状况调查项目的应用进行展望。 关键词：层次聚类分析；环境监测数据分析；热图；应用 引言
定期的环境监测会积累庞大而复杂的化学数据集，越来越多的研究者开始关注数据集中的内在关系。多元统计分析是研究多变量相互之间关系的统计分析方法，是环境监测数据分析的有力工具。常用的多元统计分析包括聚类分析、主成分/因子分析、判别分析等，其中聚类分析不仅用于环境管理研究，而且在环境监测领域发挥巨大作用。聚类分析可识别变量间的隐藏关系，仅用一小部分因子表示，且没有损失太多数据信息，有利于研究者快速掌握环境介质污染状况，判别各介质中潜在的污染来源[1]。 1聚类分析方法介绍 聚类分析也称集群分析、分类分析或数值分类，其基本思想是按照所研究的样品或变量之间存在相似性或不相似性，以一些能够度量样品或变量之间相似程度的统计量作为划分类型的依据，将数据分为若干类别，使类别内样品（或变量）差异尽可能小，类别间差异尽可能大。通常用距离来度量样品之间的相似性，用相似性系数来度量变量之间的相似性，结果以聚类树状图显示。聚类分析是一种探索性分析，按聚类的方法可分为层次聚类法、非层次聚类法等。其中，常用
的是层次聚类法，也称系统聚类法，其实质是根据变量或样品之间的亲疏程度，从最相似的对象开始，逐步聚成一类[2]。按照分析的对象不同聚类分析也可分为样本聚类（Q型聚类）和变量聚类（R型聚类）。该文将主要介绍层次聚类分析在环境监测数据分析中的应用。 2层次聚类分析在环境监测数据分析中的应用 层次聚类分析作为一种常用的聚类分析方法，可有效降低原始监测数据集的维度，简化数据的复杂程度，以监测点位、时间、指标和污染评价结果等为对象进行聚类分析，便于分析各指标时空分布特征及指标间的相关性。适用于不同环境介质监测过程获得的数据。近年来，层次聚类分析作为传统多元统计方法，常用于地表水、地下水、大气和土壤环境监测数据分析[3]。对地表水体的监测点位和时间进行层次聚类分析，可得到若干点位集群和时间集群，监测点位和时间的层次聚类分析结果可作为采样断面和频率优化的重要依据，可有效降低采样成本[4][5]。除分析监测数据集的时空变化特征外，层次聚类分析也用于监测指标的统计分析，便于判别污染来源。秦文婧等对柳江煤矿所在区域的地下水中的离子进行层次聚类分析，得到不同离子
目录 1实验主题 (1) 2实验目的 (1) 3实验性质 (1) 4实验考核方法 (1) 5实验报告提交日期与方式 (1) 6实验平台 (1) 7实验内容和要求 (1) 8实验指导 (2) 8.2 开启Hadoop所有守护进程 (2) 8.2 搭建Eclipse环境编程实现Wordcount程序 (3) 1.安装Eclipse (3) 2.配置Hadoop-Eclipse-Plugin (3) 3.在Eclipse 中操作HDFS 中的文件 (7) 4.在Eclipse 中创建MapReduce 项目 (8) 5.通过Eclipse 运行MapReduce (13) 6.在Eclipse 中运行MapReduce 程序会遇到的问题 (16)
1实验主题 1、搭建Hadoop、Eclipse编程环境 2、在Eclipse中操作HDFS 3、在Eclipse中运行Wordcount程序 4、参照Wordcount程序，自己编程实现数据去重程序 2实验目的 （1）理解Hadoop、Eclipse编程流程； （2）理解MapReduce架构，以及分布式编程思想； 3实验性质 实验上机内容，必做，作为课堂平时成绩。 4实验考核方法 提交上机实验报告，纸质版。 要求实验报告内容结构清晰、图文并茂。 同学之间实验报告不得相互抄袭。 5实验报告提交日期与方式 要求提交打印版，4月19日（第10周）之前交到软件学院412。 6实验平台 操作系统：Linux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 7实验内容和要求 （1）搭建Hadoop、Eclipse编程环境； （2）运行实验指导上提供的Wordcount程序； （3）在Eclipse上面查看HDFS文件目录； （4）在Eclipse上面查看Wordcount程序运行结果； （5）熟悉Hadoop、Eclipse编程流程及思想； 程序设计题，编程实现基于Hadoop的数据去重程序，具体要求如下： 把data1文件和data2文件中相同的数据删除，并输出没有重复的数据，自己动手实现，把代码贴到实验报告的附录里。 设计思路： 数据去重实例的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。具体就是Reduce的输入应该以数据作为Key，而对value-list则没有要求。当Reduce 接收到一个
大数据技术与应用专业详细解读 大数据技术与应用专业是新兴的“互联网+”专业，大数据技术与应用专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合，并引入企业真实项目演练，依托产学界的雄厚师资，旨在培养适应新形势，具有最新思维和技能的“高层次、实用型、国际化”的复合型大数据专业人才。 专业背景 近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。当下，大数据从业人员的两个主要趋势是：1、大数据领域从业人员的薪资将继续增长；2、大数据人才供不应求。 图示说明：2012-2020年全球数据产生量预测 专业发展现状 填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送，但互联网发展一日千里，大数据技术、手段日新月异，企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。幸好这个问题已经被全社会关注，政府更是一再提倡产教融合、校企合作来创办新型前沿几
乎以及“互联网+”专业方向，也已经有一些企业大胆开始了这方面的创新步伐。据我了解，慧科教育就是一家最早尝试高校校企合作的企业，其率先联合各大高校最早开设了互联网营销，这也是它们的优势专业，后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向，在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与，所培养人才能够很好地满足企业用人需求。 专业示例 笔者在对慧科教育的大数据技术与应用专业做了专门研究，共享一些主要特色给大家参考： 1.培养模式 采用校企联合模式，校企双方（即慧科教育集团和合作校方）发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。 2.课程体系 笔者对慧科教育的大数据技术与应用做了专门研究，现分享一下慧科专业共建的课程给大家参考。慧科教育集团的专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。 大数据专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。
环境监测中监测方法的选择 【摘要】随着我国社会经济的高速发展，环境保护在国家经济发展战略中的地位显著提高，对作为环境管理和环境科学研究的基础性工作——环境监测，提出了更高要求，本文通过对环境监测质量控制内容、监测方法选择及监测数据处理作简明阐述，以供同行参考。 【关键词】环境监测；质量控制；方法选择；监测数据处理 0.引言 环境监测是环境保护的基础工作，是环保执法体系的重要组成部分，环境监测的全过程必须严格执行国家各类环境监测技术规范和分析方法标准。环境监测实验室要建立相应的实验室质量控制与管理体系，切实提高环境监测质量，使数据具有代表性、完整性、可比性、精密性和准确性。环境监测不同于一般的化学分析，有监测对象成分复杂、浓度范围宽、随机变化大等特点，故要想用环境监测分析所得的数据来描述这些样品，就必须有良好的环境质量保证作为前提。 1.环境监测质量控制内容 环境监测对象成分复杂，时间、空间量级上分布广泛，且多变，不易准确测量。在大规模的环境调查中，常需在同一时间内由多个实验室同时参加、同时测定。这就要求各个实验室从采样到监测结果所提供的数据要有准确性和可比性。监测数据的准确性决定了环境管理、环境研究、环境治理以及环保执法等各方面的决策正确与否。环境监测结果由环境监测过程中各个环节的质量予以保证，要求每个基层监测单位都要做好环境质量保证和控制工作。它分为野外采样质量控制和实验室内质量控制。 1.1野外采样质量控制 野外质量控制主要包括了现场布点、坐标定位(可用GPS高级定位)、样品采集、样品贮存及现场某些项目的预处理等。监测点布设一贯遵循以下原则要求，既能以人为本，又能比较真实全面反映污染物的空间分布和变化规律。基层站监测断面的位置一般由上级站规定，监测点是根据监测目在车间口或总排污口布点。 坐标定位是为了详细确定采样点的位置，以便为准确稳定重复采样及绘出采样现场示意图提供保障。 采样的目的是为了获得有代表性和完整性的样品，这也是数据具有准确性、精密性和可比性的前提。根据具体采样项目分清采样容器，估算好采样量，选对采样方法和保存方法，特别是特殊项目一定要现场固定，做好采样记录，做平行和空白采样，以检查保存剂的纯度，采样容器、滤器及其设备的污染情况，以便发现系统和偶然误差及采样的再现性等。例如野外水体采样中，为了控制采样过程的误差，将实验室用的纯水在采样现场装入采样瓶中，加入与样品相同的保存剂，并运回实验与样品同时分析，将所测结果与实验室空白比较，不应呈显著差异，其目的是检查采样、保存、运输中所产生的误差。并尽量缩短运输过程，减少震动和碰撞以防样品损失或污染。样品采集后立即送往质控室进行交接，尽快进入分析测试过程。 1.2实验室内质量控制 实验室内质量控制又称为内部质量控制。它主要表现为分析工作者对分析质量进行自我控制及内部质量人员对其实施质量控制技术管理的过程。监测分析的
GIS在环境监测数据管理分析中的应用：GIS在环境监测数据管理分析中的应用 发布时间：2009-08-04 浏览次数：449 字体： [大] [中] [小] gis最大的特点是能够对整个或部分地球表层(包括大气层) 空间中的有关地理分布数据进行采集、存储、管理、运算、分析和可视化表达的信息处理与管理, 能对已有空间和属性信息进行加工处理,得出科学结论。也正是这些特点使得它与环境监测结合成为可能,换一个角度来说gis的介入使各种环境问题和环境过程描述更加符合实际,友好的界面交互、方便的空间分析操作、直观生动的结果显示等都无疑促进了环境监测技术的发展。 gis在环境监测数据管理分析中的应用有从环境信息的存储、简单的地图显示和环境制图到复杂的环境状况的模拟与分析。环境监测的目的是准确、及时、全面地反映环境质量现状及发展趋势,为环境管理、污染源控制、环境规划等提供科学依据。环境监测的目的具体可归纳为： (1)根据环境质量标准,评价环境质量。 (2)根据污染分布情况，追踪寻找污染源，为实现监督管理、控制污染提供依据。 (3)收集本底数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。 (4)为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。 文章则根据环境监测的目的不同，分为环境质量监测、污染源监督监测、应急监测三个方面来对gis在环境监测数据管理分析中的应用做进一步的说明。gis空间数据的存储和可视化表达的是gis的基本功能，在任何目的、形式的环境监测数据处理中都是会用到的,以下的三个方面就不再一一累述，下面主要从gis空间分析和综合分析功能的角度来阐gis的应用。 环境质量监测 环境质量监测是监测工作的主体。它是对各环境要素的污染状况及污染物的变化趋势进行监测，评价控制措施的效果判断环境标准实施的情况和改善环境取得的进展,积累质量监测数据，确定一定区域内环境污染状况及发展趋势。 环境质量监测一般是针对区域(如流域、城市等)进行的，对该地区的空气、水体、噪声、固体废物等进行定点的、长期的、长时间的监测以确定区域内的污染源现状进行客观全面的评价，以反映出区域中受污染的程度和空间分布情况。通常获得的环境监测数据都是空间上一些离散的点的数据，如何用这些离散的监测数据来真实的反应环境的质量状况。这里就可以利用gis的空间数据的内插方法。空间数据的内插可以作如下简单的描述:设一组空间数据，他们可以是离散点的形式，也可以是分区数据的形式，现在要从这些数据中找到一个函数关系式，使改关系式最好地逼近这些已知的空间数据，并能根据改函数关系式推测出区域范围内其他任意点或任意分区的值。这样由监测点的数据则可以推算出作为面状要素区域的空气质量状况。例如根据某条监测河流上的监测断面数据评价河流的水质状况。 此外，在对环境内的各个客体(空气、水体、噪声等)进行质量评价时，往往涉及到多个污染指标，例如空气质量标准，它是中国规定的各类地图大气中主要污染物的含量在一定时间内不允许超过的限值。主要污染物包括二氧化硫、总悬浮颗粒物、可吸入颗粒、氮氧化物、二氧化氮等。如何根据这些多个单一的、含空间信息的污染物指标来综合评价空气的质量，这里可以利用gis的空间叠合分析来实现。空间叠合分析是指在统一空间参照系统条件下，每次将同一地区两个地理对象的图层进行叠合，以产生空间区域的多重属性特征，或建立地理对象之间的空间对应关系。前者可以一般用于搜索同时具有集中地理属性的分布区域，或对叠合后产生的多重属性进行新的分类，称为空间叠合属性；后者一般用于提取某个区域范围内某些专题的数量特征，成为空间叠合统计。这样通过多个污染指标的空间叠合分析来实现对空气质量的综合评价和
环境监测数据对于环境分析的应用 摘要〕环境监测数据对于环境分析的应用，提出了目前存在问题及对策。 〔关键词〕环境监测数据环境分析 〔Abstract〕 Environmental monitoringdata analysis for environmental applications，asked the present existence question and thecountermeasure〔key words〕Environmental monitoringdata Environmental analysis 环境监测数据是环境监测工作的体现和总结，而利用对这些数据资料进行合理地 分析和运用，从而对所监测的环境进行分析，则是专门研究监测数据规律及效应 的综合技术，是环境监测学的组成部分，属软科学的范畴。 环境监测数据的分析是环境监测技术的重要组成部分，是环境监测成果的集中体现，是环境管理服务的手段之一。随着环境监测事业的发展，环境监测数据分 析技术不断发展，其自身的内涵也得到不断明确，现已发展成为综合了环境质量 评价技术、多媒体应用技术、数据库技术等多门科学的复合性技术。 1 数据分析的重要性 环境监测数据的分析是环境监测为环境决策管理服务水平的标志，它在环境监测 中的作用是用数据说话，它通过对监测部门取得的大量监测数据进行规类整理、 统计计算，以环境质量报告的形式反映一定范围内的环境质量状况、各环境要 素的污染程度及发展趋势，为环境箅服务。环境监测数据分析的中心任务是及时、准确、完整的向政府部门说清环境质量状况及变化趋势，从某种意义上说，一 个环境监测站数据分析水平就是其整体水平的一个重要标志。加强环境监测站的 监测数据分析水平，提高环境质量报告的及时性、全面性，保证环境管理的科 学化，是推进我国环境保护工作的深入与发展的关键。 2 存在的问题 监测站的环境监测综合能力和整体水平随着环境监测站标准化能力建设及计量认 证工作的开展，得到了一定程度的提高。环境监测数据的质量相应有了很大提高，为环境监测数据分析提供了良好的基础，但由于各种技术条件的限制，现就环 境监测站简要分析环境监测数据分析工作中存在的一些问题。 2.1 由于受人员、技术等限制，环境监测站进行环境监测数据分析仅靠监测数据，环境监测数据分析不够全面。环境质量报告还停留在就环境质量监测结果论质量，不能与污染源监测综合分析，环境质量的变化不能与排污状况有机地结合，对 环境质量的变化不能准确解释。 受服务收费等因素限制，环境监测站缺乏与其它部门的支持配合，例如大气环 境质量监测中，缺乏气象部门提供的环境质量监测对应的同步气象数据，使得 环境质量报告缺乏说服力。 2.2 环境监测数据分析无法适应现代化的处理技术。微机技术在环境监测站环境 监测数据分析中应用不广泛，不深入。环境监测站的监测数据收集传输手段落后，难以满足环境管理部门的时效要求，不能迅速向社会提供环境质量信息服务； 环境质量报告的表征形式以文字报告为主，采用多媒体技术制作的声像报告基本 没有，报告形式单调，信息量小、实效性差，失去了为环境管理、环境决策服 务的意义。 2.3 监测报告的质量及数据汇总。环境质量报告的质量受到监测项目、监测方法、采样频次不统一的影响，加上监测数据结构、数据处理方法的不同影响，增加了 数据汇总、处理的难度。目前，监测站承担的监测任务较为明确，但监测能力、
第一章 1.环境监测的主要任务是什么？ ①对环境中各项要素进行经常性监测，掌握和评价环境质量状况及发展趋势； ②对各个有关单位排放污染物的情况进行监视性监测； ③为政府部门执行各项环境法规、标准，全面展开环境监测技术的发展的监测数据和资料； ④开展环境监测技术研究，促进环境监测技术的发展。 2、根据环境污染的特点说明对近代环境监测提出哪些要求？ ①三高（灵敏度、准确度、分辨率高） ②三化（自动化、标准化、计算机化） ③多学科、边缘性、综合性、社会性 3、环境监测有何特点？ ①环境监测的技术特点：生产性，综合性，连续性，追踪性 ②环境监测的政府行为属性：依法强制性，行为公正性，社会服务性 ③环境监测与环境管理 4、是分析环境监测的地位与作用 环境检测是科学管理和环境执法监督的基础，是环境保护必不可少的基础性工作；环境监测在正确认识环境质量，解决现存或潜在的环境问题，改善生活环境和生态环境，协调人类和环境的关系，最终实现人类的可持续发展中起着举足轻重的作用。 5、简述环境监测的目的与类型？
目的：①评价环境质量②为监督管理控制污染服务③预测预报环境质量④制定环境法规标准规划 类型：安环境对象分为水质监测、空气监测、土壤监测、固体废物检测、生物监测与生物污染监测、生态监测、物理污染监测；按监测目的分为政府授权的公益型环境监测和非政府组织的公共事务环境监测；按监测区域分为厂区监测和区域监测；按专业部门分为气象监测、卫生监测、资源监测等。 6、试分析我国环境标准体系的特点 三级：国家环境标准、国家环境行业标准、地方环境标准 六类：环境质量标准、污染物排放标准、环境基础标准、环境方法标准、环境标准物质标准、环保仪器设备标准 7、制定环境标准的原则是什么？是否标准越严越好？ 原则：①以人为本②科学性、政策性③以环境基准为基础，与国家的技术水平、社会经济承受能力相适应④综合效益分析，实用性、可行性⑤因地制宜、区别对待⑥与有关标准、制度协调配套原则⑦采用国际标准，与国际标准接轨⑧便于实施与监督 控制技术水平、经济条件和社会要求实际情况，并非越严越好 8、环境优先检测有何原则？ ①对污染物做全面分析，从中选出影响面广，持续时间长，不易或不能被微生物所分解而能让动植物发生病变的物质做日常监测，具有生物累积性，三只物质、毒性大的、数量大的作优先监测②需要检测的项目必须有可靠的监测手段并保证能获得比较满意的效果③监测
《大数据分析方法与应用》课程教学大纲 课程代码：090542008 课程英文名称：Big Data Analysis: Methods and Applications 课程总学时：40 讲课：40 实验：0 上机：0 适用专业：应用统计学 大纲编写（修订）时间：2017.6 一、大纲使用说明 （一）课程的地位及教学目标 本课程是应用统计学专业的一门专业课，通过本课程的学习，可以使学生学会选用适当的方法和技术分析数据，领会大数据分析方法和应用，掌握复杂数据的分析与建模，使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发，为就业与继续深造打下必要而有用的基础。 （二）知识、能力及技能方面的基本要求 1.基本知识：掌握数据挖掘流程、随机森林树的回归算法、基于预测强度的聚类方法、朴素贝叶斯分类、高维回归及变量选择、图模型等。 2.基本能力：要求能在真实案例中应用相应的方法。 3.基本技能：掌握复杂数据的分析与建模。 （三）实施说明 1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写的。 2. 课程学时总体分配表中的章节序号在授课过程中可酌情调整顺序，课时分配仅供参考。打“*”号的章节可删去或选学。 3. 建议本课程采用课堂讲授、讨论相结合的方法开展教学，通过讨论等方式强化重点，通过分散难点，使学生循序渐进的掌握难点。 4．教学手段：建议采用多媒体等现代化手段开展教学。 （四）对先修课的要求 本课程的先修课程：应用多元统计分析。 （五）对习题课、实践环节的要求 通过案例讲解算法，鼓励学生演示分析思路和分析收获，使学生有机会诊断问题，并学会选用适当的方法和技术分析数据。 （六）课程考核方式 1．考核方式：考查 2．考核目标：在考核学生基础知识、基本技能，基本能力的基础上，重点考核学生的分析能力、解决实际问题能力。 3．成绩构成：本课程由平时成绩和结课报告的质量评定优、良、中、及格和不及格。 （七）参考书目: 《大数据分析：方法与应用》，王星编，清华大学出版社，2013. 二、中文摘要 《大数据分析方法与应用》是高等学校应用统计学专业的一门选修的专业课。本课程着重介绍了统计学习、数据挖掘和模式识别等领域的各种大数据分析方法。课程主要内容包括大数据分析概述、数据挖掘流程、随机森林树、基于预测强度的聚类方法、贝叶斯分类和因果学习、高
附件： 2017年大数据技术与及用人才培养方案 一、培养目标 本专业培养适应生产、建设、服务和管理第一线需要的，德、智、体、美等方面全面发展的，具有大数据行业对应岗位必备的科学文化知识及相关专业知识，以大数据系统运维与管理、数据处理、数据分析、应用系统开发能力为目标，系统掌握大数据技术与应用专业基本理论、大数据分析挖掘与处理、移动开发与架构、软件开发、云计算技术等前沿技术，旨在培养适应新形势下新兴的“互联网+”专业，具有良好职业道德和敬业精神的高素质技能型专门人才。 二、学制及招生对象 （一）学制：三年 （二）招生对象：高中毕业生和中职毕业生 三、人才培养规格 （一）职业面向、预期工作岗位名称 1.主要岗位 本专业大数据基础类岗位：大数据文档编写、大数据采集清洗与转换； 大数据技术类岗位：大数据系统搭建与运维、海量数据库管理、大数据软件开发、大数据可视化、大数据分析； 2.相关岗位 大数据销售服务类岗位：大数据营销、大数据呼叫、大数据售后服务。 3.进阶岗位 大数据技术公司管理岗位和高级技术岗位 （二）起薪标准 4500元/月 （三）人才质量标准 1.知识要求 毕业生应具有大数据技术与应用专业必要的基础理论知识，掌握从事本专业领域实际工作的基本能力和基本技能；具备适应生产、管理、服务一线岗位需要的工作能力，具备良好的职业道德与素养。
①掌握本专业培养目标所要求的基础理论知识、专业知识和技能； ②具备一定的英语知识，能够借助工具书阅读理解本专业所使用的常用计算机英语， 包括技术性文档和资料； ③掌握计算机方面的专业基础知识，能适应信息化建设； ④掌握Linux平台下大数据平台搭建，数据库系统搭建、优化、管理等方面的专业技 能； ⑤掌握大数据技术与应用专业基本的专业技能，能满足大数据岗位的基本素质。 2.能力要求 通过三年的学习，学生应具备从事本专业领域相关工作的能力。 ①熟练操作办公自动化软件； ②具备计算机组装、计算机软硬件故障的判断与定位以及故障排除的能力。 ③具备办公自动化设备维护的能力；具备数据库系统管理维护的能力； ④具备非结构化数据处理能力； ⑤具备数据仓库管理基本能力； ⑥具备OOP程序设计能力； ⑦具备Web应用开发能力； ⑧具备Linux Server、Hadoop项目管理维护的能力； ⑨具备数据挖掘、数据清洗、数据可视化的处理能力。 3.素质要求 ①政治思想素质： 热爱祖国，拥护党的基本路线。遵纪守法，善于独立思考，勇于创新的精神。具备良好的职业道德与素养。 ②文化素质： 具有一定的文化素质修养，诚实守信、礼貌待人、为人谦逊的文明习惯；具有自尊自强、爱岗敬业、勤奋好学、追求进步的品格；具备良好的人际交往与勾通和工作协调能力。 ③业务素质： 掌握大数据技术与应用专业的基础理论知识；掌握计算机组装与维护、办公自动化软件操作、办公自动化设备维护、计算机网络系统维护及管理、关系型/非关系型数据库系统维护及管理、Windows/Linux服务器系统配置管理等方面、各类大数据平台搭建管理维护的专业技能的能力。
环境监测 一．名词解释? 1.?环境监测：就是通过对影响环境质量因素的代表值的测定，确定环境质量（或污染程度）及其变化趋势。? 2.?环境标准：它是为了保护人群健康，防治环境污染，促使生态良性循环，同时又合理利用资源，促进经济发展，依据环境保护法及有关政策，对有关环境的各项工作所做的规定。? 3.?环境质量标准：是为了保护人类健康，维持生态平衡和保障社会物质财富，并考虑技术经济条件、对环境中有害物质和因素所作的限制性规定。? 4.?水体污染（PPT）：当污染物排入量超过水体自净能力时，从而导致水体的物理化学特征发生不良变化，破坏了水中固有的生态系统，破坏了水体的功能和作用。? 5.?水体自净：污染物质进入水体后，首先被稀释，随后进行一系列复杂的物理、化学变化和生物转化，使污染物浓度降低，该过程称为水体自净。? 6.?瞬时水样：是指在某一时间和地点从水体中随机采集的分散水样。? 7.?混合水样：是指在同一采样点于不同时间所采集的瞬时水样混合后的水样。? 8.?综合水样：把不同采样点同时采集的各个瞬时水样混合后所得的样品。? 9.?空气污染：有害物质排放到空气中，当其浓度超过环境所能允许的极限并持续一段时间后，就会改变空气的正常组成，破坏自然的物理、化学和生态平衡体系，这种情况即被称为空气污染。?? 10.?一次污染物：是直接从各种污染源排放到空气中的有害物质。? 11.?二次污染物：是一次污染物在空气中相互作用或它们与空气的正常组分发生反应所产生的新污染物。? 12.?空气中污染物浓度有两种表示方法：? 单位体积质量浓度：指单位体积空气中所含污染物的质量数，常用mg/m3或μg/m3表示。（这种表示方法对任何状态的污染物都适用。）????? 体积比浓度：指100万体积空气中含污染气体或蒸气的体积数，常用mL/m3或μL/m3表示。（仅适用于气态或蒸气态物质。）? 13.?硫酸盐化速率：污染源排放到空气中的SO2，H2S，H2SO4蒸气等含硫污染物，经过一系列氧化演变和反应，最终形成危害更大的硫酸雾和硫酸盐雾，这种演变过程的速度称为硫酸盐化速率。? 14.?空气污染指数（API）：是一种向社会公众公布的反映和评价空气质量状况的指标。它将常规监测的几种主要空气污染物浓度经过处理简化为单一的数值形式，分级表示空气质量和污染程度，具有简明、直观和使用方便的优点。? 15.?固体废物：是指在生产、建设、日常生活和其他活动中产生的污染环境的固态、半固态废弃物质。? 16.?危险废物：是指在国家危险废物名录中，或根据国务院环境保护主管部门规定的危险废物鉴别标准认定的具有危险性的废物。? 17.?生活垃圾：是指城镇居民在日常生活中抛弃的固体垃圾，主要包括：生活垃圾、医院垃圾、市场垃圾、建筑垃圾和街道扫集物等，其中医院垃圾和建筑垃圾应予单独处理? 18.?渗沥水：是指从生活垃圾接触中渗出来的水溶液，它提取或溶出了垃圾组成中的物质。? 渗沥水的特性决定于它的组成和浓度。特点：?
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
大数据技术与应用专业 建设方案 北京四合天地科技有限公司 2018年6月
目录 1项目背景 (4) 1.1行业背景 (4) 1.2政策导向 (5) 2人才培养方案 (6) 2.1行业人才需求 (6) 2.2大数据岗位设置 (9) 2.2.1Hadoop运维工程师 (9) 2.2.2大数据开发工程师 (9) 2.2.3数据采集工程师 (10) 2.2.4系统开发工程师 (11) 2.3大数据人才基本技能要求 (11) 2.4人才培养目标 (12) 2.5人才培养策略 (12) 3教学现状分析 (13) 3.1教学科研难以保证 (13) 3.2实训环境缺失 (13) 3.3实训内容不足 (13) 4课程体系建设 (14) 4.1培养目标 (14) 4.2课程设置 (14) 5实训室建设 ............................................................................................... 错误!未定义书签。 5.1设计理念..................................................................................................... 错误!未定义书签。 5.1.1以就业为导向...................................................................................... 错误!未定义书签。 5.1.2以能力为本.......................................................................................... 错误!未定义书签。