虚拟化、数据分析与挖掘技术实验室建设方案
目录
1 实验室项目建设背景 .................................................................................................... -
2 -
1.1 项目建设背景 .................................................................................................... - 2 -
1.2 项目建设目标 .................................................................................................... - 2 -
1.3 项目建设内容 .................................................................................................... - 2 -
1.4 项目建设原则 .................................................................................................... - 3 -
2 实验室项目建设方案 .................................................................................................... - 4 -
2.1 项目方案介绍 .................................................................................................... - 4 -
2.2 项目配置清单 ............................................................................... 错误!未定义书签。
3 实验室项目产品介绍 ............................................................................... 错误!未定义书签。
3.1 大数据与虚拟化教学实验平台.............................................................................. - 6 -
3.2 智云硬件库实时大数据源.................................................................................. - 17 -
4 大学计划与培训服务 .................................................................................................. - 20 -
4.1 中智讯大学计划............................................................................................... - 20 -
4.2 中智讯师资人才培养 ........................................................................................ - 22 -
4.3 工程师认证及再就业培训.................................................................................. - 23 -
1 实验室项目建设背景
1.1 项目建设背景
随着全球数据量的爆炸式增长和数据挖掘技术的发展，数据分析与数据挖掘技术正在以空前的速度产生和积累，对数据分析和数据挖掘的人才需求也快速增加。进入 2014 年，大数据（Big Data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。目前，大数据正在开启一次重大的时代转型，其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业等等行业。
数据挖掘致力于从大型数据库中发现隐藏知识、未知模式和新规则，以指寻人们做出正确决策。数据挖掘在数据处理中有独到的优势，但随着“大数据”旪代的到来，传统的数据挖掘经验受到了严重的挑战，如何从纷繁复杂的海量数据中提取有用的信息，变数据为财富，挖掘数据中的金矿，提升企业竞争力以及提高企业风险管理水平，是当前企业和教育工作的重要课题。
1.2 项目建设内容
数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业素养的应用型、复合型、创新型人才，
要求学生具有良好数学基础和较强编程能力，掌握信息科学与计算科学的基本理论方法与技能，具备定量分析、科学预测和应用软件开发能力，以胜任银行、零售商、电商、医院、供应链管理公司和电信公司等多个行业的相关工作。同时，实验室又要满足大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要，将研究成果应用于我国各企业的发展与改革的深化，为政府和企业提供相关决策咨询和技术支持。实验室主要的功能如下：
科研实验：结合大数据技术及应用、应用数学、统计、经济等领域的研究力量，在中心框架下利用创新实验室的平台条件，开展前沿的大数据技术及应用方面的统计分析和实证研究，实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水
平提升。
培训教学: 结合国际流行的数据挖掘、统计分析工具和专业精准的数据库，培养学生的数据挖掘、数据分析、数据检验、程序设计等实践技能。
1.3 项目建设原则
数据分析与挖掘技术实验室建设遵循以下原则：
1）可靠性：系统稳定、可靠的运行是系统具有实用性的前提。要求系统具有高稳定性，当系统出现故障和突发事件时，具有保障正常运行的措施。
2）易用性：系统应尽可能的减少系统维护人员的工作量。经过短期培训后，一般工作人员可掌握系统使用方法，这是为系统在使用过程中的实际需要考虑的。系统交付使用以后，应该便于各种日常维护工作，能够方便地进行软件的重新配置、系统的智能预警监测、硬件备品备件的更换和软件系统的升级。
3）扩展性：扩展能力是云计算应用基础服务平台最重要的原则之一，作为云计算行业应用的基础服务平台，平台应具备充分、灵活的适应能力、可扩展能力和自动升级能力，提供可视化的二次开发、配置工具，并充分考虑接口的标准化、协议的标准化。
4）可管理性：系统应具备完整的统计、分析、授权和预警等功能，并提供打印、短信、邮件、视频监控、GPS定位等通用服务。
2 实验室项目建设方案
2.1 项目方案介绍
针对目前高校大数据分析与挖掘教学与科研现状，经过大量高校教学需求调研，中智讯推出专业实用的大数据与虚拟化教学平台，帮助学生熟悉和掌握大数据及云计算领域的前沿技术，掌握云计算与大数据的开发方法，学习数据分析、数据挖掘、数据建模、数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累，提供支持云计算的大量真实物理大数据源，以及提供大量的大数据分析与挖掘的项目案例，能够让学生由浅入深的学习虚拟化、大数据分析与挖掘技术的专业课程；
实验室方案框架说明：
1)大数据与虚拟化教学实验平台：该部分作为大数据和虚拟化基础知识的主要学习平台，是高校主要建设的部分。实验主机将4台高配的专业服务器集中在一台机柜内，通过千兆交换机互联，学生可通过该平台做大数据和虚拟化的“建”、“管”、“用”等一系列实验。系统专业服务器包含：管理主机、计算主机、主存储主机、二级存储主机、千兆交换机等硬件构成，主机分区设计，直观的展示云计算的硬件构成及部署。实验平台采用一对一服务，每个学生独享一套硬件资源，方便管理和教学。
2)虚拟化技术教学资源：该部分主要用于学习云计算虚拟化技术及相关的IAAS自动化管理、部署、监控软件，支持大部分主流虚拟机的学习：KVM、Xen、Vmware、Oracle VM等。教学资源包含：Linux操作系统配置与使用（CentOS）、KVM虚拟化、Xen 虚拟化、Vmware虚拟化、Oracle VM虚拟化、CloudStack安装部署、CloudStack虚拟机资源管理、CloudStack平台运维与优化等。
3)大数据技术教学资源：该部分主要学习基于Hadoop架构的大数据教学，涵盖数据分析、数据挖掘、数据建模、数据仓库等知识。教学资源包含：Hadoop集群的部署/管理/监控、分布式文件系统HDFS安装配置与使用、大数据并行计算框架MapReduce安装配置与调优、基于Eclipse的HDFS/MapReduce程序开发与调试、HBase/Hive数据库系统的数据仓库开发与使用、基于Hive api的数据查询分析程序开发、大数据挖掘系统Mahout程序开发等。
4)大数据教学项目案例：该部分通过构建完整的行业综合应用实例来辅助教学，提供的项目包含：个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系
综合实训、云图书馆实例综合实训。结合智云硬件库实时大数据源，独创支持智云物联数据中间件系统的开发，涉及物理世界大数据的接入、分析、仓储、挖掘等功能，支持海量最近1小时、最近1天、最近1周、最近1月、最近1年及任意时间段数据的快速挖掘及数据分析使用，同时配合智云应用API，与上层移动互联网应用开发结合，构建从数据源端 -> 大数据处理中心 -> 行业应用完整的一套系统。
5)智云硬件库实时大数据源：该部分提供真实的物理硬件支撑大数据的接入，包含各种商用/工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee工业无线节点等各种设备，为学生提供行业真实应用的硬件数据源，可以构建各种应用场合：环境雾霾监测系统、仓库温度火灾监测系统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。
6)中智讯大数据源样本库：中智讯一直致力于移动互联网物联网行业开发，并运营独立的开放数据共享平台“智云物联”，能够为大数据科研及教学提供各种长期的数据样本，通过真实的物理数据支撑数据分析、数据挖掘的可靠性。
实验室方案课程体系：
大数据与虚拟化实验室所构建的实验：
2.2大数据分析与挖掘教学实验平台介绍
ZCloudEduSysV1大数据与虚拟化教学实验平台提供完整的云计算虚拟化、大数据信息处理教学解决方案，采用独立工业机柜设计，在教学上每个学生可独享一套硬件资源，方便教学及云架构的体验。
ZCloudEduSysV1教学系统包含云计算虚拟化系统、云计算服务管理系统、云计算大数据教学系统、云计算项目案例系统四个部分组成，可完成对虚拟化、大数据、分布式与并行计算等云计算核心技术和理论的理解，提高学生的实践动手能力和运用云计算技术研发创新能力，作为学校开展云计算技术相关课程的实验实训平台。
云计算虚拟化技术：
ZCloudEduSysV1教学系统支持多种虚拟化技术部署，包含Xen、KVM、VMware ESXi、VirtualBox，提供CentOS操作系统下虚拟机搭建、管理及使用。ZCloudEduSysV1教学系统采用业界知名的云计算平台CloudStack统一管理网络资源，存储资源和计算资源组成的基础设施，通过使用 CloudStack可以部署，管理，配置于虚拟化平台。
通过CloudStack可以实现：
1）通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务平台，使用户可以按需、弹性获取计算及存储资源。
2）通过云平台管理系统对整个云计算平台进行集中管理，实现对云平台的软、硬件资源进行、行统一分配和管理。
3）构建虚拟服务器，部署各种业务系统。通过云平台能对应用系统计算资源的动态调配。
CloudStack产品组件框图如下：
1）CloudStackUI 向管理员和用户提供基亍 Web 的操作界面。
2）CloudStack是 CloudStackUI 的后端支持系统，对外提供 API。
3）CloudStackView 提供面向虚拟机、物理主机和外部设备的监控服务。
4）其中 CloudStack资源管理模块作为于管理平台的核心，提供基于资源池的资源的管理和调度，完成 UI 的后端支持系统，可对外提供 API 供二次开发。
5）CloudPortal 是一个与用的业务/运营支撑系统的（B/OSS）平台，能使服务提供商能够迅速迚入市场，搭建在 CloudStack于管理平台之上。
云计算大数据技术：
ZCloudEduSysV1教学系统提供基于Apache Hadoop架构的大数据系统教学，包含大数据分析处理、大数据仓库数据库和大数据挖掘算法三个子系统。
1) 大数据分析处理子系统具备如下功能：
●大数据分片和分布式存储；
●大数据元数据管理，元数据包括文件属性、文件名与分片的对应关系、分片的
存储节点等信息；
●负载均衡和失效节点数据自动复制；
●MapReduce并行处理框架；
●MapReduce任务调度、容错。
2）大数据仓库数据库系统具有如下功能：
●SQL语言查询接口；
●表生成、外部表集成；
●可进行选择、投影、连接、聚集等查询操作；
●高吞吐率事务处理；
●与传统数据库进行数据导入和导出。
3）大数据分析与挖掘系统具有如下功能：
对大数据的分类、聚类、预测等数据挖掘功能。支持并行频繁项挖掘算法，K-Means, Fuzzy K-Means、Dirichlet process等聚类算法，朴素贝叶斯、决策树等分类算法。
2.3 实验课程指导手册
2.4 大数据分析与挖掘实训项目
2.4.1 LBS朋友圈位置分享实训
LBS全称为Location Based Services，有两层含义：首先是确定设备或用户所在的地理位置，也即所处的空间；其次是提供与所处空间相关的各类服务。也就是说LBS就是要借助互联网或无线网络，在固定用户或移动用户之间，完成“定位”和“服务”两大功能。
LBS成为移动互联网到来时一种新的基础服务，这是移动互联网再不用遵循传统互联网玩法的全新领域，对智能手机用户而言，它又使人能在现实中拥有超过PC时代的
全新能力。
LBS朋友圈位置分享系统采用智云互联开发平台技术，开发了类似与微信的“查找附近的人”应用功能，通过分享位置信息，查询附近的人，同时可以进行消息互动。详细功能如下：
1）采用Hadoop分布式数据库对上报位置进行海量存储；
2）采用GeoHash算法进行位置维度定位；
3）第一次使用时，会提示您需要同意使用地理位置信息和补充个人信息；
4）进入到查看附近的人页面，可以查看到附近人的相关信息，包括性别、所在地区和个性签名；
5）点击感兴趣的人，还可以给他打招呼并成为朋友；
6）附近好友之间可以进行消息聊天；
7）如果您不想再被附近人查看到，可以点按列表右上角图标清除您的地理位置信息；
8）支持Android2.2/2.3、Android4.0以及更高版本的android平台。
2.4.2 微信人物关系云分析实训
双十一购物节能成为时下IT圈的弄潮儿，离不开阿里利用大数据个性化推荐的法宝，而亚马逊可以领跑美国电子商务，也得益于它们的个性化推荐系统，推荐系统会成为以移动互联网为载体的下一代互联网的支撑内容。特别是近几年应用的领域很多，像电子商务里面有淘宝，当当等等，音乐上就有豆瓣电台之类的，另外像社交网络有新浪微博，还有像本地服务中的大众点评，腾讯微信/QQ的好友推荐，新闻人物关系分析等
等。
微信人物关系云分析系统是移动互联网与大数据结合的一个典型应用案例，使用Hadoop的HDFS和Map/Reduce来模拟微信账号的个人数据和通信数据分析，分析出两个账号之间可能存在的关系。相似的业务有：QQ好友推荐和人人网人物关系分析等。
在Hadoop的集群平台上存储了一些模拟微信个人账号和通信数据信息，其中包含了：姓名，年龄，性别，职业，地址，好友信息，通信地点，通信时间，通信内容等多维度的信息；每个学生都可以把这个文件下载到本地，然后以个人信息为基准来修改这些文件，再回传这些文件到云分析目录下，作为分析人物关系的数据依据；回传成功后，学生可以设定判定两个人物之间关系的一些关键词，这些关键词可以作为判断两个人物之间关系的依据，例如，朋友关系:“哥们”，“一起吃饭”等，还有一些其他维度信息的设定，比如两个人的年龄相仿等等，通过一系列条件的设定来告诉系统要依据这些信息来分析两个人物之间可能存在的某种关系。
2.4.3 个人私有存储云实训
知识点：云存储概念的介绍；Hadoop与云存储的关系；hadoop的HDFS简单上传和下载的API使用
实验目的：使用Hadoop的分布式文件系统（HDFS）来模拟现实生活当中的云存储服务。
实验流程：学生可以通过web页面来访问云存储系统，学生注册自己的用户，登录到云存储系统；学生注册成功后，就已经在hadoop集群上拥有了系统分配的存储空间，然后用户登录成功，可以往自己的存储空间里上传图片和文件，还可以下载图片和文件，
同时可以删除图片和文件，查看自己空间的信息，浏览自己的文件等等。
相似业务推荐：网易有道云笔记
2.4.4 气象数据分析实训
知识点：云计算概念的介绍；Hadoop与云计算的关系；Hadoop的Map/Reduce的编程流程介绍
实验目的：通过使用Hadoop的Map/Reduce来模拟现实生活当中的云计算服务。
实验业务：该实验模拟的是一个全国的气温统计系统，老师代表气象管理中心员，拥有自己的超级用户；班级里的每个学生代表着全国内的各个省市，直辖市或者自治区。学生首先要在系统上注册该地区的名称和ID，注册成功后，可以登录到系统，登录成功后可以上传本地区一段时间的气象数据（数据格式：2012-11-13气温：<10度>湿度：<98.5%>等，系统会提供示例数据文件供下载），上传完成后则等待气象管理中心的统计。气象管理中心员老师通过查看各个地区是否都已上传了本地的气象数据，如果都完成，则可以执行统计命令来完成全国的气象数据统计，统计完成后，在页面上显示统计的结果。实验流程：基于web页面技术来实现上面的模拟业务逻辑，气象中心管理员老师拥护自己的管理用户，可以随时登陆系统，管理各个地区用户；学生则需要通过页面来注册他所代表的地区，然后登录到系统，上传本地区的气象数据文件，上传成功后等待气象中心管理员的统计；气象中心管理员老师则等待所有学生上传完成，然后可以点击页面的按钮来统计所有的数据，数据统计完成后，可以在页面查看全国平均温度和湿度的平均结果，包括单位时间内，温度和湿度的曲线示意图等。
相似业务推荐：中央气象台云分析系统
2.4.5 图书馆图书管理实训
知识点：Hadoop的HDFS和Map/Reduce的结合使用；深入了解HDFS和Map/Reduce 的一些高级API的使用；着重探讨Hadoop的云计算与现实中的业务逻辑的整合。
实验目的：通过hadoop的HDFS和Map/Reduce来实现一个图书馆图书管理系统，通过实验项目学生可以实现对图书馆的管理。
实验业务：学生可以下载一些书籍的文章，然后整理成一本书籍格式的文件，其包含：书名，作者，著作日期，内容等，并上传至hadoop集群服务器，上传成功后，然后学生进行添加，删除操作，并可以对书籍的名称，作者，著作日期，书籍内容等相关元数据进行文字搜索，例如：我可以查找一个作者“韩寒”，内容包括有“赛车”的课本，然后系统会显示其查询结果内容。
实验流程：学生还是使用原来登录系统进行登录或者注册，登录成功后，学生可以从网络或者本地计算机找一些书籍的文件，然后通过页面上传至图书管理系统，然后通过页面的功能按钮对书籍进行管理和建立索引，索引建立成功后，系统提示学生可以进行信息的检索了，然后学生可以利用系统来查找自己想要找的书籍。
相似业务推荐：百度文库文档管理
2.4.6 智能EMS速递云实训
知识点：物联网与云计算的结合，深入熟悉Hadoop的高级应用和API的掌握； Hadoop 的云存储和云计算与物联网技术的整合；探讨Hadoop云的存在的意义，优势和局限性。
实验目的：通过hadoop的云存储和云计算来实现一个快递员迅速取送快递的过程。
实现业务：系统会通过各种方式收集发送快递的信息，包括电话，手机和互联网平台等（这些数据通过系统模拟来实现），信息收集回来后，存储在hadoop的云存储服务器平台上，然后通过hadoop的云计算系统开始分析，分析完成后，会把离快递员最近的快件分配给一个快递员，这样达到一个资源最优化的处理。
实验流程：老师可以把自己模拟成快递信息数据采集终端（如上电话等），随时往hadoop云平台上上传数据信息；学生可以把自己模拟成快递人员，然后通过页面登录到云智能速递网，来领取自己的快件；云智能速递网会随时分析数字终端上传来的快递信息，然后通过快递的信息（如：经纬度）来分析该快件应该分配给哪个快递人员？（指所有快递人员中目前所在位置（经纬度）离该快件接送距离最近的一个），分配成功后，该快件就处于正在发送状态，然后快递人员可以通过页面来领取自己的快件，领取以后开始发送货物，发送成功后，可以提交货物发送的状态：成功或失败。
相似业务推荐：IBM智慧地球
2.4.7 物联网数据分析实训
云计算和大数据的研究需要大量的真实数据样本，基于物联网的海量实时传感数据可以作为大数据源研究的支撑。中智讯针对物联网技术开发了一套物联网信息化公共服务系统，提供开放程序接口能够快速构建物联网传感网络系统，智能网关能够实时处理海量高频数据进行与远端数据中心的接入和存储。
智云硬件库包含了所有的物联网底层硬件资源，实现真实物理系统的采集与控制，通过分析海量的物理大数据，根据应用需求进行决策管理，对执行设备进行自动化控制。硬件库可选择工业传感器、商用传感器或者教学传感器，类别包含各种感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee 工业无线节点等各种设备，为学生提供行业真实应用的硬件资源，用于支撑云计算大数据教学系统的数据分析、仓储、挖掘及决策，使学生在掌握基础的编程语言之后，可以根据自己的想法、创意进行各种云互联物联网项目的开发。
例：提供实验平台Cotex-A9嵌入式主机上实时在线监测3个以上（含3个）不同城市的雾霾数据，曲线实现最近1小时、最近1天、最近1周、最近1月、最近3个月等数据，并通过Hadoop分布式大数据技术对数据进行分析，通过饼图展示天气情况的分布情况.
图1
实验截图说明：在图1中显示了武汉、深圳、北京共3个城市最近1小时的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。
图2
实验截图说明：在图2中显示了武汉、深圳、北京共3个城市最近1天的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。
图3
实验截图说明：在图3中显示了武汉、深圳、北京共3个城市最近1周的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。
图4
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
大数据时代的数据挖掘 大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。 大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。 智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 数据挖掘的定义 技术上的定义及含义 数据挖掘（Data Mining ）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。 ----何为知识从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。原始数据可以是结构化的，如关系数据库中的数据；也可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。 这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。n x _s u x i a n g n i n g
《大数据分析与挖掘》课程教学大纲 一、课程基本信息 课程代码：16054103 课程名称：大数据分析与挖掘 英文名称：Big data analysis and mining 课程类别：专业选修课 学时：48(理论课：32, 实验课：16) 学 分：3 适用对象: 软件工程专业、计算机科学与技术 考核方式：考查 先修课程：多媒体技术、程序设计、软件工程 二、课程简介 本课程从大数据挖掘分析技术实战的角度，结合理论和实践，全方位地介绍基于Python语言的大数据挖掘算法的原理与使用。本课程涉及的主题包括基础篇和实战篇两部分， 其中基础篇包括：数据挖掘基础，Python数据分析简介，数据探索，数据预处理和挖掘建模；实战篇包括：电力窃漏电用户自动识别，航空公司客户价值分析，中医证型关联规则挖掘，基于水色图像的水质评价，家用电器用户行为分析与事件识别，应用系统负载分析与磁盘容量预测和电子商务网站用户行为分析及服务推荐。 本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论基于Python语言机器学习模型解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，目的是让学生能够扎实地掌握大数据分析挖掘的理论与应用。 This course introduces the principle and application of big data mining algorithm based on Python language comprehensively from the perspective of big data mining analysis technology practice, combining theory and practice. This course covers two parts, the basic part and the practical part. The basic part includes: basic data mining, introduction to Python data analysis, data exploration, data preprocessing and mining modeling. Practical article included: electric power leakage automatic identification of the user, airlines customer value analysis, TCM syndrome association rule mining, based on water quality evaluation of color image, household electrical appliances
龙源期刊网 https://www.doczj.com/doc/e112460519.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
文档收集于互联网，已重新整理排版.word版本可编辑.欢迎下载支持. 0文档来源为:从网络收集整理.word版本可编辑. 数据分析平台 解决方案 成都四方伟业软件股份有限公司 2017年1月 目录 1.背景概述 (5) 2.现状分析 (6) 2.1.主流BI模式 (6) 传统BI模式 ................................................................................. 敏捷BI模式 (7) 2.2.平台推荐模式 (8) 3.整体需求 (10) 3.1.数据源支持 (10) 3.2.自助式查询 (10)
文档收集于互联网，已重新整理排版.word版本可编辑.欢迎下载支持0文档来源为:从网络收集整理.word版本可编辑. 3.3.OLAP联机分析 (11) 3.4.UI编排功能 (12) 3.5.丰富的组件 (13) 3.6.多种展示方式 (13) 3.7.外部数据服务 (14) 4.总体设计 (15) 4.1.数据分析 (16) 4.2.设计运行 (16) 4.3.系统管理 (16) 4.4.可视化展示 (16) 5.功能设计 (17) 5.1.数据分析 (17) 多数据源 ..................................................................................... 数据建 模 ..................................................................................... 多维BI分 析 (18) 5.2.设计运行 (20) 文档收集于互联网，已重新整理排版.word版本可编辑.欢迎下载支持. 0文档来源为:从网络收集整理.word版本可编辑.
数据处理平台解决方案设计数据采集、处理及信息结构化相关技术 全面的互联网信息采集：支持静态页面和动态页面的抓取，可以设置抓取 网页深度，抓取文件类型，以及页面的特征分析和区块抓取。支持增量更新、 数据源定位、采集过滤、格式转换、排重、多路并发等策略。 -实现企业内外部信息源的自动采集和处理，包括像网站、论坛、博客、文件系统、数据库等信息源 -海量抓取：根据信息不同来源，有效的进行海量不间断抓取，而且不干扰原有业务系统的正常运行 -更新及时：信息采集之后，对于相应的信息更新，要具备灵活的机制，保证内容的质量与完善； -结合权限：结合具体项目的流程，相应的文件都有不同的权限，抓取的时候，能够获得相关权限，以此在前台提供知识服务的同时， 满足对权限的控制； -支持录入多种格式的知识素材，包括文本、表格、图形、图像、音频、视频等。 -支持批量上传多种格式的文档，包括txt、html、rtf、word、pdf、MP3、MPEG等。 -支持采集文档里面的内嵌文档抓取（如word文件里面嵌入visio的图片文件，word的图文框等）； -支持对各种压缩文件、嵌套压缩文件的采集； -支持导入Excel、XML、Txt等多种数据源，导入后可自动解析数据源中的知识条目。 -配置好之后可以完全自动化的运行，无需人工干预； -用户可指定抓取网站列表，可进行自定义、删除、更改等操作； -用户可自定义开始时间，循环次数，传送数据库等参数； -自动检测网页链接，可自动下载更新页面，自动删除无效链接； -可设置基于URL、网页内容、网页头、目录等的信息过滤； -支持Proxy模块，支持认证的网站内容抓取；
信息工程学院“计算机技术工程”专业硕士点论证 《大数据分析与挖掘》方向： --团队 --近5年发表论文 --近5年获得的代表性科研项目、课题情况 --本研究方向的特色、定位、作用和意义 --培养方案 --人才需求与培养目标 --实践基地与培养模式 1.团队： 2.近5年发表论文： 研究方向 姓 名 出生年月 职 称 学历/学位 备 注 大数据分析与挖掘 邵艳华 1975.03 教授 研究生/博士 学科带头人 张儒良 1963.06 教授 研究生/硕士 学术带头人 曹俊英 1981.05 教授 研究生/博士 学术骨干 夏大文 1982.09 副教授 研究生/博士生 学术骨干 李小武 1966.11 副教授 研究生/博士 学术后备人才 龙 飞 1978.03 副教授 研究生/硕士 学术后备人才 吴有富 1966.04 教授 研究生/博士 兼职 吴茂念 1974.02 教授 研究生/博士 兼职 刘运强 1984.07 高级工程师 研究生/硕士 兼职
本学科方向近5年发表论文情况 序 号 论文名称作者（*）发表时间发表刊物、会议名称或ISSN、检索号 1 Research about Model and Simulation of Enterprise Evolution Based on Agent 邵艳华 （1/？） 2012.10, 3114-3117 ICECC 2012 2 一类复杂适应系统的建模研究 邵艳华 （1/？） 2012, 38(1), 253-255 计算机工程 3 Modeling and simulation of agent decision based on prospect theory. 邵艳华 （1/？） 2014.12 ICFEEE 2014 4 Application of Modeling and Simulation Based on Agent 邵艳华 （1/？） 2014.11, 939-942 ICMECS 2014 5 A Method of Slant Correction of Vehicle License Plate Based on Watershed Algorithm 张儒良 (1/2) 2010.02 Robotics and Automation，2010 (2) 95-98 6 A Method of Slant Correction of Vehicle License Plate Based on Watershed Algorithm 张儒良 (1/2) 2010.02 Robotics and Automation，2010 (2) 95-98 7 Car Number Plate Detection Using https://www.doczj.com/doc/e112460519.html,yer Weak Filter 张儒良 (1/2) 2009.07 Business Intelligence (EI收录) IEEE Computer Society, ISBN: 978-0-7695-3705-4 检索号:20094712459305 8 A high order schema for the numerical solution of the fractional ordinary differential equations 曹俊英 （1/2） 2013(4):15 4-168 J. Comput. Physics 9 A high order schema for the numerical solution of ordinary fractional differential equations 曹俊英 （1/2） 2013(586):9 3-103 Contemporary Mathematics 10 Hadoop关键技术的研究与应用 夏大文 （1/？） 2013计算机与现代化 11 A Novel Parallel Algorithm for Frequent Itemsets Mining in Massive Small Files Datasets 夏大文 （1/？） 2014 ICIC Express Letters, Part B: Applications 12 Discovery and Analysis of Usage Data Based on Hadoop for Personalized Information Access 夏大文 （1/？） 2013BDSE’13 13 A geometric strategy for computing intersections of two spatial parametric curves(SCI) 李小武 （1/？） 2013The Visual Computer，29，1151-1158 14 On a family of trimodal distributions, Communications in Statistics - Theory and Methods(SCI) 李小武 （1/？） 2014 Communications in Statistics - Theory and Methods, 43(14),2886–2896. 15 基于开源少民信息资源保存系统设计 研究 龙飞 （1/？） 2011 计算机技术与发展 3. 近5年获得的代表性科研项目、课题情况
大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。
大数据挖掘与分析 数据挖掘(Data Mining)是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。 数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。 数据挖掘完整的步骤如下： ①理解数据和数据的来源（understanding）。 ②获取相关知识与技术（acquisition）。 ③整合与检查数据（integration and checking）。 ④去除错误或不一致的数据（data cleaning）。 ⑤建立模型和假设（model and hypothesis development）。 ⑥实际数据挖掘工作（data mining）。 ⑦测试和验证挖掘结果（testing and verification）。 ⑧解释和应用（interpretation and use）。 数据挖掘常用的方法 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其
划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。 (6)Web数据挖掘。Web数据挖掘是一项综合性技术，指Web 从文档结构和使用的集合C 中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么
旅游研究院大数据挖掘与分析科研平台建设方案
目录 一. 背景 (3) 1.1 数据挖掘和大数据分析行业背景和发展趋势 (3) 1.2 旅游行业开展大数据分析及应用的意义 (4) 1.3 数据挖掘与大数据分析科研平台建设的必要性 (4) 二. 数据挖掘与大数据分析科研平台总体规划 (5) 2.1 科研平台规划 (5) 2.2 科研平台功能规划 (6) 三. 数据挖掘与大数据分析科研平台建设方案 (7) 3.1 大数据科研平台设备架构 (7) 3.1.1 主节点和备份主节点 (7) 3.1.2 管理节点 (7) 3.1.3 接口节点 (8) 3.1.4 计算节点 (8) 3.2 大数据科研平台底层架构 (8) 3.2.1 分布式持久化数据存储——HDFS (9) 3.2.2 分布式实时数据库——HBase (9) 3.2.3 分布式资源调度管理——YARN (9) 3.2.4 交互式SQL引擎——Hive (9) 3.2.5 内存计算——Spark (10) 3.3 科研平台的功能 (10) 3.3.1 科研项目管理 (10) 3.3.2 平台内置数据集 (10) 3.3.3 科研数据上传 (11) 3.3.4 集成算法组件 (11) 3.3.5 科研平台可视化功能 (12) 四. 平台数据集清单 (13) 五. 定制数据服务 (13) 六. 科研平台算法清单 (13) 七. 科研平台设备清单 (19)
一. 背景 1.1 数据挖掘和大数据分析行业背景和发展趋势 移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。 据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。 最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。
大数据时代的数据概念分析及其他 一、概念： "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 百度概念: 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。 研究机构Gartner概念： "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 二、大数据分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 大数据分析的五个基本方面： 1、可视化分析Analytic Visualizations 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者
在大数据时代，个人、企业和机构都会面临大数据的问题。建设面向服务的大数据平台，可以为众多的中小企业和个人用户提供大数据处理和分析的能力。面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑，通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务。 一、平台架构 大数据分析平台的拓扑架构如下图所示： 其中部署在多个地方的智能数据中心提供大数据存储及计算平台，通过平台服务器提供系统调用功能。门户服务中心将整合所有的智能数据中心存储和计算资源，并通过 web应用服务器和 Open API 服务器以 web 调用和Open API 调用的方式提供大数据存储、管理及挖掘服务。终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。 大数据分析平台的系统架构如下图所示：
系统包含 3 个层次：平台层为整个大数据分析平台提供基础平台支持;功能层提供基本的大数据存储和挖掘功能;服务层为用户提供基于互联网的大数据服务。具体包括： (1)平台层：为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎; (2)功能层：为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能; (3)服务层：基于 Web 和 Open API 技术提供大数据服务。 二、关键技术 建设面向服务的大数据分析平台，需要研究和开发一系列关键技术，主要包括： 1. 平台层 (1)大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术，当前需要构建至少 PB 级存储能力的大数据平台才能满足一般的科研和应用需求。
1项目概述 党的十八大把生态文明建设放在了突出地位，纳入了“五位一体”总体布局，并首次把“美丽中国”作为未来生态文明建设的宏伟目标。2015年新修订的《环境保护法》将“推进生态文明建设、促进经济社会可持续发展”列入立法，以法律的形式将生态文明建设提升到了国家的战略高度。国务院出台的《水污染防治行动计划》“水十条”，对生态文明中水环境和水质保护方面的提出了重点管理要求。与此同时“互联网＋”和“大数据”应用也上升为国家战略，国务院出台的《关于积极推进“互联网＋”行动的指导意见》、《关于促进大数据发展的行动计划》和环保部发布的《生态环境大数据建设总体方案》，将“互联网＋绿色生态”作为11个重点行动之一而提出，要求未来的环保工作必须紧密地与大数据建设结合起来，高度重视大数据在推进生态文明建设中的地位和作用。 2建设目标 以往信息化发展基本都是着眼于各个业务部门各自的业务需求，“管什么、想什么、干什么”，数据多头采集、相互矛盾的现象普遍，难以从环保工作全局层面支撑决策和管理。很多环境问题还处于现状不清、底数不明、原因不详的困局之中，环保部门在回应重大环境污染事件和解决人民关切的环境问题方面容易陷入被动。 通过以水环境综合大数据分析建设为契机，树立环保工作的大局观和整体观，将流域各方面相关环境管理数据整合起来，形成合力打造对内的统一的水质大数据智能分析平台，用全局性的战略眼光来谋划整个水域环境质量、影响流域污染源监控数据管理建设。
3系统建设内容 3.1水环境大数据采集 大数据时代的环境信息化建设是以数据为核心，环境大数据管理与应用是在“十三五”期间最重要的发展方向，所以环保部门未来建设重点将紧紧围绕大数据进行。而要实现大数据的智能化应用，首先要解决的就是大数据收集获取问题，因此需要夯实应用基础，全面收集内外部数据资源，整合、共享、联动、开发数据，努力实现全数据采集管理。 3.2水环境大数据管理 获取流域水质大数据分析需要的相关环境大数据资源后，建立大数据综合服务库，将采集的海量数据汇聚进入到库中，聚合原有分散在各个政务系统中的数据，并按照大数据管理标准及要求，进行集中管理与维护。 3.3水环境大数据分析应用 应用水环境模型、大数据等技术实现水环境质量模拟预测、污染源-水质响应关系建立，集流域各断面自动监测系统、排向该水域的污染源废水在线监控系统、排污申报系统、移动执法系统等，采集整合河流断面自动监测数据、手工监测数据、流域排口监测数据、污染源数据等，建立流域水系关系、河流与断面的关系、断面与排口关系、排口与企业关系、企业与污染因子关系五种数据关系，当某一个监测站点数据超过安全阈值或正常标准时，判定其污染程度，同时进行污染溯源，通过水环境模型预测出下游的污染水质变化趋势况，给出处置措施建议并提供评估管理。 2 / 2
Data Base Technique ? 数据库技术Electronic Technology & Software Engineering 电子技术与软件工程? 175【关键词】地理信息 大数据 数据挖掘1 地理信息大数据的特征 随着信息技术的发展，各种地理地质探索程度的加深，每天都会产生大量的地理信息大数据，对于这些大数据的特征进行分析，开展实际应用具有极为重要的意义。 1.1 数据量巨大且多样化 随着地理信息数据收集手段的日益丰富使得地理信息的数据呈现出几何倍的增长，以全国4000个基准站计算显示，其总的数据规模已经超过了250GB ，如果扩大到全球的范围内，每天产生的数据量更是巨大。同时随着测绘技术、运动网络以及智能终端的应用，地理信息的数据来源越来越多，应用的技术越来越高超。人们可以通过无人机、卫星、气球拍摄等影响数据，手机、定位车等移动设备获得实时的信息，数据的来源以及种类越来越多样化。 1.2 数据产生较为快速 对于数据信息的获取上，高分辨率的影像等数据信息可以实时的获取，高分二号的重复采样周期为4天，资源三号的采样周期缩短到5天，对于传感器等相关移动设备获取信息的周期为实时，在对于这些信息的处理上，都是以秒来计算，同时数据的实效性可以依据分钟来计算，为此可见地理信息数据的产生与分析速度极为快速。 1.3 数据的应用价值极高 地理信息内部蕴含着巨大的财富，可以有效的指导人们的生产与生活活动，依据相关的数据显示，地理信息大数据可以人给服务商带来的收入超过1500亿美元，为用户带来的价值将会超过8000亿美元。 1.4 同传统地理信息的比较 首先为地位不同，传统的地理信息主要服务于政府，而大数据信息则面向于大众开展的应用服务。地理信息的数据产生部门也从相关单位，专业部门转变为每个人都是大数据地理信息的收集者，数据的量也从MB 发展到地理信息大数据挖掘与分析 文/曾航 唐险峰 谭龙生 PB ，部分的实效数据已经实现了实时的更新。2 地理信息大数据挖掘系统云平台分析地理信息大数据已经为证明其具有较大的应用基础，同时数据挖掘分析能力成为智慧应用的关键，为此数据的挖掘与分析能力显得尤为重要。针对于目前地理信息的特征，要想实现大数据到智慧应用的转变，需要应用到云储存技术、关系与非关系型数据库储存量巨大，通过人工智能以及云计算技术等，通过一定的排列剔除可信度低、未经过检测的数据，经过清洗以及转换之后得到可以利用的地理信息数据。最后通过统计分析、数据挖掘等分析未来的情况，这些操作实现的平台为地理信息处理云平台。地理信息系统的云平台不仅仅支持的为桌面端以及Web 端的应用，为企业以及政府部门提供提供服务，其还是一个服务性以及跨部门的云平台。地理信息云平台含有各种趋势化的技术与数据，在数据管理层面支持3D 数据、公共地理框架数据以及街景、实时位置以及感知数据等，在支持数据格式层面含含有关系型数据、表格、图片以及非关系型数据等几种格式，地理信息数据服务系统还加入了网络社会媒体，网络设备传输的流数据等。对于实际功能层面，处理具有传统的可视化查询、编辑以及分析等功能之外，同时还可以提供的为在线的地理信息触发、地理信息围栏筛选等功能，经过处理之后需要的信息可以通过列消息、邮件以及地图成果等传递给用户。在具体使用的时候，用户可以根据各种类型终端实时的范围地理信息云平台，同时依据云平台获得订阅自身需要的素具信息，并不需要关系数据是如何采集与获取就可以得到较好的服务。3 地理信息大数据的挖掘与应用探析地理信息云平台可以轻而易举的实现各种信息资源的共享，使用地理信息资源的模式从推动应用转变为利用信息挖掘应用，可以为政府、企业以及社会公众等的决策提供支持服务。3.1 城市人文信息的挖掘一个城市夜晚的灯光水平会直接的反应该城市的工业化水平，人口的分布情况等，通过遥感卫星夜间的影响可以获得各个城市经济的要素信息。比如利用夜光减少的情况，分析居民的大规模迁移与战争的发展情况，通过经济统计数据、夜光影响以及土地覆盖类型的数据等，可以得到网格化的GDP 数据，对于政府制定经济发展政策具有较大的帮助。3.2 公安应急应用针对于开放式的广场，公安部门难以掌握好人口的聚集程度，进而难以给出科学的人口流量控制方法，较为容易出现踩踏的事故。为此可以借助于手机热点的大数据计算得到每平方米内部聚集人口的数量，之后结合手机热点的流动趋势，可以精确的判断出每平方米人口的聚集量变化趋势，进而可以及时的做出相关应急措施，避免由于人口超负荷的汇聚带来较大的伤亡。3.3 环境与卫生监测在卫生领域，可以判断流感蔓延的实际情况，对于用户在相关搜索引擎输入的咳嗽、 发烧等热点检索信息，具体的分析流感疫情实际的蔓延情况，进而为政府部门快速的应对疾病的蔓延提供第一手珍贵的资料。同时还可以在环保领域的雾霾监测应用，对于污染企业帆布的信息、风向的具体走势以及道路分布，交流流量、人群轨迹等大量的数据开展开展汇集、处理以及实时分析，进而可以获得可视化的雾霾分布图以及雾霾的变化趋势图，进而为政府部门提前的应对雾霾天气、开展环境整治等方面的工作提供必要的指导。3.4 交通出行规划应用人们在出行时通常会考虑当时的路况，绕开拥堵路段，去选宽松路段，但这些宽松路段便会由于车辆的增加而逐渐成为新的拥堵路段，所以导航系统的应用能够通过以往的大量数据，来以现阶段车辆行驶的大概趋势为基础，对用户合理的行驶路线进行分析，以此帮助用户有效避开拥挤路段。4 结束语伴随着地理信息数据获取手段的逐渐增加，地理信息数据也开始进入到大数据时代，地理信息大数据中，用户不在为地理信息数据资源的覆盖性以及发展趋势等担心，而是需要关注于数据如何的组织管理，如何的获取可靠的数据信息，需要花费更多的经理在数据的应用挖掘上，更好的服务于政府、企事业单位以及社会大众。同时我们还需要注意的为，在大数据时代个人隐私面临较为严峻的挑战，如何的防止私人信息泄密是值得关注话题，为此我们今后需要做的就是积极的完善地理信息云平台，深入的挖掘数据内部含有的价值，促进信息产业的发展与进步。参考文献[1]周星,桂德竹.大数据时代测绘地理信息服务面临的机遇和挑战[J].地理信息世界,2013(05):17-20.[2]周顺平,徐枫.大数据环境下地理信息产业发展的几点思考[J].地理信息世界,2014(01):45-50.[3]武长安,姜楠.大数据时代测绘地理信息服务面临的机遇与挑战[J].住宅与房地产,2017(23).[4]刘纪平,张福浩,王亮等.面向大数据的空间信息决策支持服务研究与展望[J].测绘科学,2014,39(05):8-12.[5]曾元武,陈泽鹏,方晓乐等.大数据时代下地理信息公共平台建设展望[J].测绘通报,2015(11):84-87.作者单位重庆市规划信息服务中心 重庆市 401121