大数据平台项目实战建设方案

WORD格式 编辑整理

专业知识分享 大数据平台建设方案

（项目需求与技术方案）

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发 WORD格式 编辑整理

专业知识分享 展。

1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

--

-- 大数据平台建设方案

(项目需求与技术方案)

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。

1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信--

-- 息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

三、建设原则

大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。 --

大数据平台建设项目 数据中台建设项目调研表

数据中台建设项目 调研表 填表单位： 填表时间： 填表人姓名：

填表人电话： 调研机构： 联系人姓名： ___： 一、单位信息 填表人 职务 ___ 手机 联系地址 邮政编码 邮箱 单位职责 所属部门

二、基本情况 现有大数据平台（数据中心）现状. 1、 现有大数据平台（数据中心）现状 1）平台部署位置： 2）平台基础设施规模情况： 计算节点数量 ； 存储规模 部署的网络域： 3）平台汇聚的数据： 4）平台是否有专业的团队进行运行维护 A、 是； B、否

平台已有的数据资源量 平台平均每年更新的量 5）平台采用的技术架构： 计算框架： A、Mapreduce； B、Spark； C、Storm； D、Impala； E、其他 数据采集框架： A、flume； B、sqoop； C、Logstash； D、其他 关系型数据库种类： A、Oracle； B、MySQL； C、SqlServer； D、其他 非关系型数据库种类： A、MPP； B、HBASE； C、MongoDB； D、Redis； E、HANA； F、其他

6）简述平台在运行中主要存在的问题 基于现有大数据平台（数据中心）开发了哪些应用及服务 1）当前大数据应用及服务主要面向的服务对象： 2）当前大数据应用服务涉及领域（请选择并针对应用及服务进行简要描述）： A、业务运营管理 B、研发与工程 C、供应链管理 D、其他 已经编制和应用的大数据平台（数据中心）应用标准及规范 1）请详细说明应用及服务标准规范、管理标准规范、技术标准规范。请填写附表一的内容。

现有大数据平台（数据中心）数据治理与标准情况 1）针对数据治理主要的保障机制： A、组织机构； B、制度规范； C、资金；

D、其他 2）开展的数据治理工作： A、数据标准； B、元数据管理； C、主数据管理； D、数据质量管理； E、数据安全管理；

大数据平台及应用建设项目

项目名称 大数据平台及应用建设项目

项目实施

必要性分析 目前我校学校目前数据主要存在各个业务系统，数据标准不统一，信息孤岛现象严重，缺乏有效的数据交换共享方式，需要进行数据治理，建立全校统一数据标准，加快数据共享交换效率；缺乏对全量数据的采集、管理、运维的大数据管理平台；；同时学校原有业务系统办公程序繁琐，比如：管理者了解一个学生在校行为情况需要登录各个不同的业务系统来查看学生信息；管理者对于教师科研、基本信息、在校行为等信息缺乏一个直观明了的了解方式，业务系统日常工作产生大量离线表格数据，缺乏有效的上传手段。因此，通过大数据平台及分析应用的建设帮助我校解决上述问题

本次建设内容：

1. 数据治理：建立全校统一数据标准，加快校园信息化建设；

2. 大数据平台：建立全量数据采集、管理、运维的大数据管理平台，包括对数据的字段级管理、数据封装成为API接口、发布提供第三方产商进行开发使用等运维功能；

3. 离线表格采集工具：实现离线表格在线编辑实时保存数据库功能，包括新建数据表格、表格结构修改、权限管控、数据批量上传下载、单条件搜索、多条件搜索等功能；

4. 学生画像：打通学校学工系统、教务系统、图书馆管理系统、公寓门禁系统、一卡通消费系统、上网管理系统的数据，整合呈现学生在校多方面数据。包括：学生基本信息、奖惩情况、校内轨迹、图书借阅、选课成绩、检索条件自定义选择、完善的角色权限控制等功能；

5. 教师画像：全面展示教师基本信息、学历单位、工作经历、党政职务、专业技术职务、一卡通消费、工资变化、教学信息、评教信息、科研信息等；

项目实施

可行性分析 1、可参考的行业经验

目前，国内部分走在前列的学校在对大数据分析系统已经走出了探索的步伐，并取得了一定的积极成果。试将其中的一些典型代表举例如下：

 ****大学

****大学早在2016年-2017年在学校内部已经部署大数据平台，实现统一数据管理的功能，以将数据封装成为API接口的方式提供给第三方厂商使用，成为了应用开发中校方占据主导地位，开发API总量185个，总调用次数近万次。