大数据平台方案

WORD格式 编辑整理

专业知识分享 大数据平台建设方案

（项目需求与技术方案）

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发 WORD格式 编辑整理

专业知识分享 展。

1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

--

-- 大数据平台建设方案

(项目需求与技术方案)

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。

1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信--

-- 息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

三、建设原则

大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。 --

旅游研究院大数据挖掘与分析

科研平台建设方案

一. 背景

1.1 数据挖掘和大数据分析行业背景和发展趋势

移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。

据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。

最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。 在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务20%的用户提供了80%的价值，因此利用优势资源用户对于少数用户的服务。随着互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。并且由于计算技术的发展，对于大数据的分析也成为了可能。

大数据平台及应用建设项目

项目名称 大数据平台及应用建设项目

项目实施

必要性分析 目前我校学校目前数据主要存在各个业务系统，数据标准不统一，信息孤岛现象严重，缺乏有效的数据交换共享方式，需要进行数据治理，建立全校统一数据标准，加快数据共享交换效率；缺乏对全量数据的采集、管理、运维的大数据管理平台；；同时学校原有业务系统办公程序繁琐，比如：管理者了解一个学生在校行为情况需要登录各个不同的业务系统来查看学生信息；管理者对于教师科研、基本信息、在校行为等信息缺乏一个直观明了的了解方式，业务系统日常工作产生大量离线表格数据，缺乏有效的上传手段。因此，通过大数据平台及分析应用的建设帮助我校解决上述问题

本次建设内容：

1. 数据治理：建立全校统一数据标准，加快校园信息化建设；

2. 大数据平台：建立全量数据采集、管理、运维的大数据管理平台，包括对数据的字段级管理、数据封装成为API接口、发布提供第三方产商进行开发使用等运维功能；

3. 离线表格采集工具：实现离线表格在线编辑实时保存数据库功能，包括新建数据表格、表格结构修改、权限管控、数据批量上传下载、单条件搜索、多条件搜索等功能；

4. 学生画像：打通学校学工系统、教务系统、图书馆管理系统、公寓门禁系统、一卡通消费系统、上网管理系统的数据，整合呈现学生在校多方面数据。包括：学生基本信息、奖惩情况、校内轨迹、图书借阅、选课成绩、检索条件自定义选择、完善的角色权限控制等功能；

5. 教师画像：全面展示教师基本信息、学历单位、工作经历、党政职务、专业技术职务、一卡通消费、工资变化、教学信息、评教信息、科研信息等；

项目实施

可行性分析 1、可参考的行业经验

目前，国内部分走在前列的学校在对大数据分析系统已经走出了探索的步伐，并取得了一定的积极成果。试将其中的一些典型代表举例如下：

 ****大学

****大学早在2016年-2017年在学校内部已经部署大数据平台，实现统一数据管理的功能，以将数据封装成为API接口的方式提供给第三方厂商使用，成为了应用开发中校方占据主导地位，开发API总量185个，总调用次数近万次。