高校实行大类招生的适用性分析及反思
摘要：过去十几年，国内高校兴起了一股实行大类招生的热潮。然而大类招生对高校的学科支撑能力、教学管理能力、学生工作能力、人才培养能力以及生源适应能力都提出了挑战，不是所有的学校、所有的学院、所有的学科都适合开展大类招生。高校需要冷静反思，根据自身办学特点，寻找真正适合本校发展战略的招生培养模式。
关键词：大类招生；专业分流；通用理论；培养模式
中图分类号：g473.2 文献标识码：a 文章编号：1673-8500（2013）04-0095-01
一、大类招生的实行现状
大类招生，是在高校招生录取时，不再根据专业或专业方向来招生，而是根据大类的学科（如学院）进行招生录取，学生在低年级时共同接受基础课程的学习，在高年级时通过对学科专业的了解及自身的兴趣，在大类学科内选择专业的人才培养模式。根据对国内高校的统计，目前实施大类招生的培养方式可以概括为以下四种：第一种是按院系大类招生；第二种是按一级学科大类招生；第三种是跨学科相近专业大类招生，第四种是不按学院也不按专业的大类招生。
大类招生是顺应时代需要的产物，具有一定的历史必然性。大类招生以2001年北京大学创办“元培计划班”为起点，在过去的12年中，这种新型的招生方式在高校广泛推行。截至2010年，国内
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
教学科研大数据平台 解决方案
目录 1.概述 (3) 1.1.背景 (3) 1.2.建设目标 (3) 1.3.建设的步骤和方法 (3) 2.教学科研大数据平台概要 (4) 2.1.架构设计 (4) 2.2.教学科研大数据平台优势 (6) 2.2.1.应用优势 (6) 2.2.2.未来发展优势 (8) 3.教学科研大数据平台设计 (8) 3.1.大数据资源池 (9) 3.1.1.cProc云计算 (9) 3.1.1.1.cProc云计算概述 (9) 3.1.1.2.数据立方 (10) 3.1.1.3.混合存储策略 (15) 3.1.1.4.云计算核心技术 (15) 3.1.1.4.1.数据处理集群的可靠性与负载均衡技术 (15) 3.1.1.4.2.计算与存储集群的可靠性与负载均衡 (19) 3.1.1.4.3.计算与存储集群的负载均衡处理 (21) 3.1.1.4.4.分布式文件系统的可靠性设计 (23) 3.1.1.4.5.分布式数据立方可靠性设计 (23) 3.1.1.4.6.分布式并行计算可靠性设计 (25) 3.1.1.4.7.查询统计计算可靠性鱼负载均衡设计 (25) 3.1.1.4.8.数据分析与数据挖掘 (27) 3.1.1.4.9.cProc云计算优势 (35) 3.1.2.cStor云存储 (36) 3.1.2.1.cStor云存储介绍 (36) 3.1.2.2.cStor云存储架构 (38) 3.1.2.3.Stor云存储关键技术 (43) 3.1.2.4.数据安全诊断技术 (44) 3.1.2.5.cStor云存储优势 (45) 3.2.大数据教学基础平台 (46) 3.2.1.Hadoop架构 (46) 3.2.2.Hadoop关键技术 (47) 3.2.3.Hadoop优势 (51) 3.2.4.Hadoop教学 (51)
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
摘要：随着大数据时代的到来，高校教育将发生深层次的变革。介绍了大数据的定义和高校信息系统中存在的大数据，分析了大数据在高校教育中的应用，并对可能存在的问题做了初步探讨。 关键词：大数据；高校教育；数据挖掘 中图分类号：TP392文献标志码：A 文章编号：1671-6191（2013）02-0084-04 0引言 2009年出现了一种新的甲型H1N1流感病毒，这种流感病毒结合了导致禽流感和猪流感的病毒的特点，在短短几周之内迅速传播开来。在甲型H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文，它准确预测了H1N1流感的爆发，这令公共卫生官员们和计算机科学家们都感到震惊。这篇论文介绍了谷歌通过观察人们在网上的搜索记录来实现这个预测的方法，而这种方法以前一直是被忽略的。谷歌保存了多年来所有的用户搜索记录，而且每天都会收到来自全球超过30亿条的搜索指令，如此庞大的数据资源足以支撑和帮助它完成这项工作。谷歌公司的预测与官方数据的相关性高达97％，和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且他们的判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到[1]。惊人的是，谷歌公司的方法根本不需要分发口腔试纸和联系医生———它是建立在大数据的基础之上的。2012年3月29日，美国政府宣布了“大数据研究和发展倡议（Big Data Research and Development Initiative ）”，以推进从大量的、复杂的数据集合中获取知识和洞见的能力，并承诺政府将为此投资超2亿美元，许多重要国家机构都将参与其中。2012年7月10日，联合国发布大数据政务白皮书《大数据促发展：挑战与机遇》，指出各国政府应当使用极大丰富的数据资源，更好地响应社会和经济指标。日本总务省于2012年7月新发布“活跃ICT 日本”新综合战略，提出正针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题做出贡献。随着互联网上数据的不断增多，海洋一般浩瀚的网络数据已成为一种战略资源。大数据技术的目标就是从这些数据中挖掘信息、判断趋势、提高效益。“大数据”是继物联网、云计算之后IT 产业又一次颠覆性的技术变革。 1什么是大数据 大数据也称巨量资料，是指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、存储、管理和分析的数据。人类可以通过大数据的交换、整合和分析，发现新知识，增长新智慧，创造新价值。大数据具有4V 特点，即数量（Volume ）、多样性（Variety ）、速度（Velocity ）和价值（Value ）。 1)数量。数量也许是与大数据最相关的特征，是指数据规模“巨大”。当前数据已经从TB （1024GB ＝1TB ）级别跃升到PB （1024TB ＝1PB ）、EB （1024PB ＝1EB ）乃至ZB （1024EB ＝1ZB ）级别。以脑科学为例，用电子显微镜重建大脑中的突触网络，1mm 3大脑的图像数据就超过了1PB 。社交网络Facebook 每天大数据在高校的应用与思考 桑庆兵 （江南大学物联网工程学院，无锡214122） 收稿日期：2013-04-18 作者简介：桑庆兵（1973－），男，安徽明光人，江南大学物联网工程学院副教授，硕士生导师，研究方向为图像视频质量评价、神经网络、模式识别。 南通纺织职业技术学院学报（综合版）Journal of Nantong Textile Vocational Technology College Vol.13，No.2Jun.2013 第13卷第2期 2013年6月
教育大数据平台建设方案 2016年7月14日
1. 教育大数据平台建设 (3) 1.1数据采集与治理系统建设 (3) 1.2日志管理中心建设 (4) 1.3元数据管理系统建设 (5) 1.4数据建模系统建设 (6) 1.5数据可视化系统建设 (7) 2. 大数据平台建设 (8) 2.1权限管理中心建设 (8) 2.2仪表板系统建设 (9) 2.3分析报告系统建设 (9) 2.4用户画像系统建设 (10) 2.5智能预警系统建设 (10) 2.6学生/教师发展中心系统建设 (11) 2.7统一门户系统建设 (11) 3、功能参数列表 (12)
1.教育大数据平台建设 教育大数据平台的建设，无需学校现使用的各种软件系统的开发商，通过开发接口的方式进行数据采集或对接，从而实现学校各系统之间数据无感知采集。并完成数据治理，最终实现数据融合，解决数据孤岛问题，为各个平台提供自动化数据支撑。 通过对数据进行采集和治理，包含学校结构化数据、半结构化数据和非结构化数据，保证数据的完整性和全面性，实现数据融合。根据分析的目标和需要解决的问题结合全面的数据，才能完成全面的数据挖掘与分析，从而实现数据多维度、有深度的应用，让数据不仅仅是作为结果输出，而是形成业务流程闭环，全方位应用于学生培养和学校日常工作，为学校建设提供重要的依据。将学校各应用系统的数据进行采集和整合，打破数据孤岛，实现数据的共享和应用，为大数据分析打好基础。 1.1数据采集与治理系统建设 提供可视化界面进行数据源接入的配置操作；采集方式不影响数据源所属服务器/设备/数据库/Web服务的正常运行。支持不同网络之间的数据同步功能；支持不同类型数据源之间的数据同步功能；提供可视化的数据集成功能，实现自动化的任务调度，并智能化监控数据集成的过程。 在满足数据库的数据采集同时，学校老师也可自行导入数据。本数据采集工具优于一般数据仓库或非大数据厂家的采集方式，可以让学校各系统在正常运行的情况下，进行无感知全量或增量采集。 一般当前数据包含结构化数据、半结构化数据和非结构数据，且学校数据在使用不同的系统时，数据多存储在不同的数据库，无法将数据进行集合处理为学校管理做出数据支撑，也无法有效追溯数据问题。教育大数据平台的数据采集功
高校大数据平台解决方案、高校智慧校园解决方案
1.项目概况 近年来，随着信息技术产业的蓬勃发展，高校的信息化建设工作也受到了广泛关注。推进高校信息化建设，打造数字化校园已成为各高等院校的普遍共识。由于信息化建设初期缺乏统一规划，数据标准各异，业务系统各自为政，导致数据非集成化并形成了许多的信息孤岛，这使得大量数据无法共享和利用，获得更大价值。 数据共享交换平台是整个数字化校园建设的重要组成部分，利用平台对校园内散乱分布的数据进行集成化整合，同时将原来分散、利用率低下的信息资源进行数据挖掘，对于学校的发展战略和决策支持具有重要意义。 另外，数据共享交换平台的建设是高校信息化建设下一阶段——智慧校园建设的工作基础。完成对学校内大数据有机的整合和继承管理，掌握学校各项活动中发生的庞大、海量数据，并利用大数据处理技术对这些信息资源进行挖掘、整理、分析，为学校的发展提供决策支持，是大数据时代下支撑学校改革、发展的重要手段。 2.智慧校园建设方案！高校统一数据中心解决方案平台设计目标及思路 大数据时代的教育带有“大教育”的特性，具有全员（从全日制学生到全民，面向所有人）、全程（从学前教育到终身教育，服务各个教育阶段）、全方位（家庭、学校、社会三位一体教育，无所不在的教育，虚实结合的教育）等特点。随着在线平台的推广和普及，越来越多的老师将自己的授课视频放上网。互联网上的眼睛将使所有错误无所遁形，在无数人的编辑之下，知识传播的形式将不断优化、效率会不断提高。在数据的不断累积当中，视频将会沉淀下来，成为经典的学习材料。 目前，建设以全局数据为基础的数据共享交换平台已成为各高校信息化建设的核心内容。通过其建设可以有效消除信息孤岛，节约人力、物力、财力成本，提高工作效率。各职能部处可以通过该平台获取其他业务部门的数据信息，通过对数据的交换、共享、分析、挖掘，为广大师生提供更加完善的服务，为高校建设以及科学管理提供重要的依据。
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
高校教育大数据的分析挖掘与利用摘要,本文从高校教育大数据的汇聚融合与挖掘应用的角度,分析了如何运用教育大数据技术推动大学管理和人才培养的创新改革的思路和方法。首先,分析了教育大数据对高校现代化、精细化、规化管理的4个价值,其次,给出了高等教育大数据技术平台的基本技术架构,第三,结合教育大数据实际应用,介绍了省高等教育质量监管大数据中心、MOOC中国、交通大学教学质量综合监控与评价三个典型案例,最后,提出了教育大数据分析挖掘中的3项基础性关键技术 关键词,高等教育,大数据,分析,挖掘 一、教育大数据分析挖掘的价值 高校大数据分析挖掘至少有四个典型价值, 一是使得大学的管理更加精准高效,可以朝着智慧治理、分类管理、过程监控、趋势预测、风险预警的方向发展,真正实现基于大数据分析规律的精准治理,改变管理的模糊性, 二是可以更加准确地分析评价课堂教学的质量,过去我们对课堂、对老师的评价是定性和模糊的,而在大数据智慧课堂的模式下,可以真正实现采集样本的持久化,采集方式 的多元化,挖掘手段的多样化,分析技术多维度,通过这些方式可以提高课堂教学的质量, 三是使得教和学更加智慧,更加有效。对学生来说,老师可以了解学生学习的进展情况,发现学习兴趣点,以及对老师讲的哪些容理解或者不理解,学习路径分析及课程推荐等等。对教师而言,不仅可以跨校跨地域分享他人的优秀课程,而且可以对学习者进行精准分类,进行个性化指导,
四是资源服务的个性化、精准化推荐与服务,学习绩效的个性化评价,以及个性化教学管理,个性化手机容推送等等,这些功能将有效提升教与学的效率和质量 二、教育大数据技术平台的总体设计 首先,我们对高等教育大数据技术平台有一个总体的顶层设计,如图1所示。这不仅是学校自己要有一个大数据的管理平台或者是数据中心,而且也是面向区域乃至全国的平台。教育部评估中心正在努力建立国家级高等教育教学质量监控大数据中心,省也是这样考虑的。数据来自高校、教育管理部门以及行业、第三方、企业用人单位等等各方面采集的数据,该数据平台既有大学的业务数据、课程资源,也有政府部门的统计数据,还有学生网上学习的日志数据,用户产生的UGC数据,比如微信、微博、论坛等等的数据,基于大数据平台,开展面向学习者、面向高等教育管理机构、教师、高校等提供服务,并和教育部评估中心、主管部门等 进行数据交换与对接 显然,这样一个大数据平台必须是一个高性能的计算平台,没有这样的基础设施一切无从谈起,所以去年我们学校花了很大的力气做了两件事,一个是把校二级单位原来小的集群计算进行整合,形成学校统一的高性能云计算平台,既面向校的科学研究、人才培养提供服务,其实也可以为社会提供合作共建共享模式。目前,我们已建立了一种自我造血机制,四两拨千斤,以这个平台吸引更多的外部资源,努力扩展平台的性能和应用 三、教育大数据分析挖掘的典型应用案例 目前,我校的高性能平台除了应用于材料、航天、能动、信息等大型科学计算之外,还开展了以下三项典型的大数据应用 案例1,省高等教育质量监控与评估大数据应用 图2所示的是省高等教育的整体架构。其数据基础是来自省100多所高校的各种办学状态数据,有将近700个表格,以及省教育厅各个职能部处的各种各样的管理
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库(人口库、法人库、宏观经济、地理库)为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态,为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源,结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理,法人与地理，实现基础展示与分析,融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求:通过对各个委办局的指定业务数据进行汇聚,将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和EＴL等功能。 ２、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大,数据类型繁杂,数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据,经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备
高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力,支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联,即:通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求:依靠集中数据集,快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求:通过对海量的政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能， 促进民生的发展。
石油行业大数据分析 平 台 方 案
目录 一数据管理的现状 (1) 二石油行业大数据分析的概述 (2) （一）石油行业大数据分析概念 (2) （二）石油行业大数据分析目标 (3) 三石油行业大数据分析体系 (3) 四石油行业大数据分析核心领域 (4) （一）数据模型 (4) （二）数据生命周期 (5) （三）数据标准 (6) （四）主数据 (8) （五）数据质量 (9) （六）数据服务............................................................................................ 1 1 （七）数据安全............................................................................................ 1 2 五石油行业大数据分析保障机制 (13) （一）制度章程............................................................................................ 1 3 (1) 规章制度............................................................................................ 1 3 (2) 管控办法............................................................................................ 1 3 (3) 考核机制............................................................................................ 1 3 （二）石油行业大数据分析组织....................................................................... 1 5
高校大数据专业教学科研平台建设方案 一、项目建设的意义及目的 芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段，通过校企合作联合培养机制，让企业、行业深度参与人才培养过程，逐步实现校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、共同把控培养质量，全面提升学生的应用实践能力。该平台以应用型人才培养为目标定位，在以解决现实问题为目的的前提下，使培养的学生有更宽广和跨学科的知识视野，注重知识的实用性，有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据行业各个岗位真正的职业技能。 二、功能模块和建设思路 芝诺大数据教学科研平台构建总体分为三大部分，一是平台硬件，二是教学与实验支撑系统（包括：芝诺数据综合分析ZDM平台、芝诺数据教学实训平台），三是产品服务体系。 具体如下：
教学与实验支撑系统由芝诺数据综合分析ZDM平台和芝诺数据教学实训平台构成，教学与实验支撑系统部署在大数据教学科研一体机中。 二、项目建设的目标及内容 1、项目建设目标 1）平台的建设能让高校大数据专业与实际应用相结合，提高学生的学习、实践和创新创业能力，能够培养实用性人才所需的专业能力，提升教学效果与就业率，为“大数据时代”的创新人才培养做出贡献。
2）平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等关键技术研究，能够服务于学校的教学和科研，有助于大数据方向发展和自主创新，有利于创新团队培育和高水平研究成果积累，有利于提升教师的教学和科研水平，推动教学和科研团队建设。 3）平台的建设搭建可以发挥学校的行业优势，体现学校办学特色，推进与国内外高校、科研机构和企业间的产学研合作，开展项目合作研究和人才培养，促进科研成果转化，促进产学研协同创新。 4）平台的建设有利于促进学科交叉与融合。 2、项目建设内容 1）模块一：平台相关硬件建设 本模块主要包含：大数据教学科研一体机 技术参数：
2016年中国电商行业大数据分析报告
研究背景：放眼当下，恰逢互联网购物的大好时代，在国家信息网络战略实施、几大移动运营商快速发展、各大电商网络平台百花齐放的大背景下，年轻消费群体购买力突飞猛进，网上零售市场份额不断提升，网购渗透率正逐年增加。中商产业研究院预计，到2016年，我国网上零售额将突破5万亿，占社会消费品零售总额的%，网购用户渗透率达到%。 2014-2020年中国网上零售额规模情况 数据来源：国家统计局、中商产业研究院 2014-2020年中国网购渗透率情况
数据来源：国家统计局、中商产业研究院休闲食品电商 1、产业综述 2、发展现状
随着经济的发展和消费水平的提高，休闲食品正在逐渐升级成为百姓日常的必需消费品。现阶段，我国休闲食品电商三足鼎立格局初现,龙头优势明显。三只松鼠、百草味、良品铺子已牢牢占据了休闲食品电商前三,其他品牌竞争难度加大。 3、市场规模 中国经济快速发展，居民生活水平和消费能力不断提高，消费习惯也随之改变。从吃饱到吃好，消费者对食品的需求和兴趣从必须消费品逐渐向可选消费品转移，零食不再是儿童、青少年的专属，不再和不健康划上等号，和正餐之间的界限也日渐模糊。因此，休闲食品线上销售规模也在逐年增长，2015年，我国休闲食品电商销售规模约为450亿元。 2014-2020年中国休闲食品电商市场交易规模 数据来源：中商产业研究院 4、消费特点
女性消费者是绝对购买主力：休闲零食消费在性别的差异性放点明显，女性消费者是绝对购买主力。根据尼尔森，在全球范围内，女性比男性消费更多零食且女性对葛洪零食的消费意愿高于男性。根据易观智库，女性消费者不仅在购买人数上超过男性消费者（购买力%%）。 80后、90后为零食网购主力：从休闲零食网购消费者年龄分布来看，28-38岁消费者占比%，18-28岁消费者占比%，年轻人成为绝对多数。80后基本步入职场，消费能力也已承受。即将进入社会的90后，消费更具冲动型、超前性，见识未来的生力军。 白领为零食电商消费的主要人群：休闲零食电商的手中人群职业分布较广，不仅有白领人士、事业机关人员，还有自由职业者，家庭主妇及退休人员等。因此，市场对食品电商的产品需求多元化，长尾效应明显。其中，白领人士是零食电商的最主要消费者（47%），性价比高、有个性有腔调、方便快捷是他们的诉求特征。 生鲜电商 1、产业综述
区域教育大数据统计与分析系统的构建研究 【论文编号】1671-7384（2018）010-025-08 问题的提出 1.区域教育大数据统计分析现状 对于区域来讲，如果使用的教育大数据统计软件是单机版本，没有建设自身的教育大数据采集网络，那样会造成数据无法共建共享，形成数据孤岛，也会造成数据无法在线实时收集，不能有效办公。区域教育相关的数据都有一定的规模，但数据处于异构且分散在不同部门不同系统中，没有形成区域的教育大数据，对于教育大数据的分析挖掘与可视化展示方面的应用也无法开展。 2.区域教育大数据统计与分析系统构建需求 区教委层面：系统能够提高区级教育管理单位的统计管理水平，增强科学决策能力。 随着教育事业的发展，区级教育管理单位对教育统计的管理日益精细化，需应用现代化的信息技术手段完成现有工作，并建立全区的教育大数据为教育教学以及教育管理提供决策支持服务。 如根据工作需要，快速的发布统计报表采集任务，在整个统计填报周期可全程监控统计数据填报的进度与质量，达到实时评价、实时指导、实时核查的目的从而进一步保障数据的质量；再
如通过大数据分析，区级教育管理单位可以及时了解区域在教育综合改革中相关决策实施的效果，全面掌握全区智慧教育建设的进度和水平，准确把握各级学校在教学活动中的相关情况等。 基层学校层面：区域教育大数据统计与分析系统能够为基层学校统计工作减负，提高教育服务能力。在教育事业统计方面，单机版教育大数据统计系统需要在每个学校独立安装，由于统计人员变动大、信息化水平不高、系统安装步骤繁琐、没有固定用于统计用的电脑等因素导致的学校每年在系统安装上的工作难度较大。 在大数据分析方面，学校需要通过对教师、学生在教学活动中各方面数据的收集、分析，挖掘出有利于提高学校管理效率、提升教学质量、辅助学生健康成长等多方面的决策服务数据，真正意义上实现智慧教育下教育质量的跃升。 系统构建原则 实用性原则。首先应该保证在系统生命周期内系统的实用性，选用成熟的技术，确保满足实际业务需求。 先进性原则。在技术选择上，应充分考虑技术先进性和成熟性之间的平衡，一方面保证整体信息体系的先进性，同时有效避免尖端技术给信息系统带来的不确定性和潜在风险。 业务性原则。紧密围绕区域教育大数据统计业务，系统应能适应目标的多重性，环境的多变性，方法的多样性。 可靠性原则从系统结构、技术措施、系统管理等方面着手，
智慧高校大数据平台 建 设 方 案 I
目录 第1章前言 (8) 1.1、大数据发展分析 (9) 1.1.1、大数据定义 (9) 1.1.2、大数据5v特征及其应用 (10) 1.2、高校大数据建设背景 (11) 1.2.1、战略机遇 (11) 1.2.2、大数据产业政策支持 (12) 1.3、高校大数据建设面临问题 (13) 1.3.1、高校大数据应用分析 (13) 1.3.1.1、数据规模日益庞大 (13) 1.3.1.2、缺乏稳定高效的大数据环境 (14) 1.3.1.3、数据利用不充分 (14) 1.3.1.4、数据驱动带来的科研新挑战 (14) 1.3.2、高校大数据数据源分析 (14) 1.3.2.1、数据涉及面窄 (14) 1.3.2.2、有效数据量少 (15) 1.3.2.3、数据接口不完善 (15) 1.3.3、高校大数据服务用户分析 (15) 1.3.4、高校大数据建设责任制问题 (16) 1.3.4.1、校领导 (16) I
1.3.4.2、教师 (17) 1.3.4.3、学生 (17) 1.3.4.4、家长 (17) 1.3.4.5、校园环境 (17) 1.3.4.6、教学管理与服务 (17) 1.3.4.7、社会 (17) 1.4、建设原则 (18) 1.4.1、安全性 (18) 1.4.2、可扩展性 (18) 1.4.3、灵活性 (18) 1.5、建设目标 (18) 1.5.1、实现数据的共享和交换 (18) 1.5.2、大数据的采集和存储 (19) 1.5.3、大数据分析与决策 (19) 1.6、高校大数据平台建设意义 (19) 1.6.1、实现个性化学习 (19) 1.6.2、实现教育评价体系重构 (20) 1.6.3、实现科学研究范式转型 (20) 1.6.4、开启“大数据创客”新模式 (20) 1.6.5、实现教学模式改革 (20) 1.6.6、实现科学化教育管理 (20) II
高校大数据及其处理架构 高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类搜索点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。 大数据的处理流程与一般数据的处理过程类似，可以定义为在合适工具的辅助下对广泛异构的数据源进行抽取和集成，将结果按照一定的标准统一存储，利用合适的数据分析技术对存储的数据进行分析从中提取有益的知识，并利用恰当的方式将结果展现给终端用户。具体来说可以分为数据抽取与集成、数据分析和数据展示。 数据抽取与集成 大数据的数据来源非常广泛，既包括传统的关系型数据库，也包括XML 等半结构化数据，以及以视频、音频、文本和其他形式存在的非结构化数据。数据抽取和集成要解决的主要问题就是收集各种碎片化的数据，对数据进行清洗，保证数据质量，同时根据时间演进不断更新数据模式，确定数据实体及其之间的关系，最终将数据按照统一的格式进行存储，以便提供给上层用来进行数据分析。 目前高校已经基本建立了完备的管理信息系统、学习管理系统等，在统一数据中心中积累了大量的结构化数据；同时各类系统中还散布着大量的半结构化和非结构化数据。半结构化和非结构化的数据经过一定处理后，可以转化为更容易分析使用的结构化数据。 数据分析 经过抽取和集成得到的数据，需要经过分析挖掘其潜在的价值。传统的数据挖掘、机器学习、统计分析等方法仍然可以用来对数据进行分析，只是需要根据大数据的特征进行调整。首先，为了实现对海量数据的分析，需要依Map/Reduce 模型，将数据拆分处理，然后再将结果汇总，一个完整的分析可能会经过多层类似的处理过程；其次，大数据的应用通常具有实时性的特点，数据的价值会随着时间的流逝而递减，因此分析方法需要平衡处理的效率和准确率；最后，大数据一般构建在云计算平台之上，分析方法需要考虑与云计算平台的集成或做为一种云服务。 数据展示
大数据处理综合处理服务平台的设计与实现 （广州城市职业学院广东广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。大数据综合处理服务平台支持灵活构建面向数据仓库、实现批量作业的原子化、参数化、操作简单化、流程可控化，并提供灵活、可自定义的程序接口，具有良好的可扩展性。该服务平台以SOA为基础，采用云计算的体系架构，整合多种ETL技术和不同的ETL工具，具有统一、高效、可拓展性。该系统整合金融机构的客户、合约、交易、财务、产品等主要业务数据，提供客户视图、客户关系管理、营销管理、财务分析、质量监控、风险预警、业务流程等功能模块。该研究与设计打破跨国厂商在金融软件方面的垄断地位，促进传统优势企业走新型信息化道路，充分实现了“资源共享、低投入、低消耗、低排放和高效率”，值得大力发展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题，一个是大数据分析“Big Data”，一个是云计算“Cloud Computing”。中
国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。据IDC（国际数据公司）预测，用于云计算服务上的支出在接下来的5 年间可能会出现3 倍的增长，占据IT支出增长总量中25%的份额。目前企业的各种业务系统中数据从GB、TB到PB量级呈海量急速增长，相应的存储方式也从单机存储转变为网络存储。传统的信息处理技术和手段，如数据库技术往往只能单纯实现数据的录入、查询、统计等较低层次的功能，无法充分利用和及时更新海量数据，更难以进行综合研究，中国的金融行业也不例外。中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。通过对不同来源，不同历史阶段的数据进行分析，银行可以甄别有价值潜力的客户群和发现未来金融市场的发展趋势，针对目标客户群的特点和金融市场的需求来研发有竞争力的理财产品。所以，银行对海量数据分析的需求是尤为迫切的。再有，在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。随着国内银行业竞争的加剧，五大国有商业银行不断深化以客户为中心，以优质业务为核心的经营理念，这对银行自身系统的不断完善提出了更高的要求。而“云计算”技术的推出，将成为银行增强数据的安全性和加快信息共享的速度，提高服务质量、降低成本和赢得竞争优势的一大选择。
大数据分析在智慧教育中的应用研究 摘要：传统面向高校智慧教育的数据分析平台难以从海量智慧资源中准确分析学生学习行为，导致在面向试题的难度预测中，存在准确率低的问题。针对上述问题，开展面向高校智慧教育的大数据分析研究工作，给出智慧教育体系架构的构成以及数据分析平台，利用 Hadoop 技术对智慧教育资源进行分析与处理，采用数据挖掘算法并结合云计算技术深入分析和解释学生学习行为数据的采集、汇聚，获取学生学习行为的隐性和显性行为，评估教育质量，预测学生日后学习表现，建立学生认知模型与可视化图表，把得到的数据智能融入智慧教育体系架构。将该体系架构应用于在线教育系统提供的答题数据，预测英语阅读试题难度。测试结果表明，试题难度评估预测性能较好。 关键词：大数据分析；高校智慧教育；数据挖掘算法；Hadoop 技术；云计算；学生认知模型
目录 1、引言 (3) 2、高校智慧教育大数据分析 (4) 2.1、高校智慧教育体系架构 (4) 2.2、面向学生学习行为的大数据分析技术 (5) 3、实验结果与分析 (8) 4、结论 (9)
1、引言 大数据、人工智能技术的发展和广泛应用，使得“互联网?教育”成为高等院校教育改革与发展的重要研究方向[1]。“智慧教育”的提出更是将高校教育信息化提升到前所未有的新高度[2]。面向高校智慧教育的大数据分析逐渐成为研究广泛关注的重要研究方向之一[3]。目前，相关学者已研究 出多项针对智能辅助系统的数据分析平台。例如：李爽等人通过学生学习行为投入测量指标构建数 据分析平台[4]。这些测量指标更有利于分析和测量教学智能辅助系统的学习行为。周效章以云计算、大数据分析技术为依托，按照“线上?线下?线上”为教育实施路径，构建了“在线教育平台+学习中心”融合教学模式的数据分析平台[5]。上述数据分析平台缺乏对学生学习行为数据合理的整合管理 模式，易造成信息孤岛，无法准确分析学生学习行为数据，导致在面向试题时的难度预测精度较低。在分析国内智能辅助系统的数据分析平台现存问题的基础上，构建“面向高校智慧教育的大数据分 析平台”，以推动我国高校智慧教育发展。