校园大数据平台的顶层设计与微观应用
——山西大学建设实践
王文剑
wjwang@https://www.doczj.com/doc/1112504808.html,
https://www.doczj.com/doc/1112504808.html,/mi/index.html
山西大学现代教育技术学院
2019年5月17日
2019高校智慧校园研讨会
主要内容
智慧校园建设及面临的问题
山西大学信息化建设与大数据平台设计基于大数据平台的典型案例
展望
智慧校园——高校信息化的高级形态云计算物联网知识管理智能感知大数据移动互联社交网络商业智能物理空间数字空间1、智慧校园建设及面临的问题
面临的问题
缺乏统一支撑平台根本原因——缺乏顶层规划与设计！！！
重复投资资源浪费缺少师生视角
服务
数据不
能互联
互通
数据互联互通的困难
信息孤岛
共享困难出了问题再补漏，数据管理部门和生产部门互相推脱责任
已然形成大数据
但应用处理困难数据质量低下
统计不准确数据安全
数据多样化
缺少统一标准
集成困难数据资源管理
可能的原因及解决思路
单体项目的建设模式
缺乏信息标准建设与监控
缺乏成熟开放的集成工具数据与代码流向不清晰
需要将数据
集中采集、集中管理公共数据平台
其他
山西大学前身是成
立于1902年的山西
大学堂，2005年成
为山西省人民政府
与教育部共同建设
的省部共建大学，
2012年入选“中西
部高校综合实力提
升计划”。2018年
成为教育部和山西
省政府合建的部省
合建高校。
2、山西大学信息化建设与大数据平台设计 学校概况
山西大学学科门类齐全，是一所综合性大学,学校设有11个学科门类。
哲学
经济学
法学
教育学 农学 医学 管理学
93 个本科专业
37个一级学科硕士点 19 个一级学科博士点
文学 历史学 理学 工学
山西大学校园信息化建设发展历程
自主搭建DNS、电子
邮件、主页等少数几个服务
以校园网主干设备等
初步建设
全面铺开服务提升加大应用系统建设：自
主开发了各业务部门应
用系统；购买了网络教
学平台、网站群平台、
OA系统、邮件系统等核心网络升级，主干千兆，百兆到桌面，
分覆盖；PC架构机架
服务器开始使用Vmware 虚拟化技术主干万兆，桌面千兆的网络升级，实现无线的全覆盖；实现传统数据中心到虚拟数据中心的
转变
实现数字校园公共平台建设，业务平台全面升级；通过信息门户集成，提供单一访问入口；邮件服务托管到腾讯企业邮箱；将网络运维服务外包系统升级智慧校园
IDC数据中心
高性能计算中心
平台建设
?站群内网站175个，包含山西大学主页、部门、学院、研究所网页
?在线应用系统85个，涉及20个部门
?公共软件平台：门户、统一身份认证系统、数据交换平台、电子邮箱、Ftp服务、网站群系统
?管理应用平台：一卡通系统、财务综合信息系统、办公自动化系统、科研管理系统、教务管理系统、人事管理系统、学工管理系统……
?教学和科研平台
网络教学平台：共有349门课程，注册用户数16000多
数字图书馆：电子图书2535（GB），中外文数据库56个，自建数据库13个
会思考的校区有温度的校区可持续的校区智能化的校区智能校区创新引领绿色校区持续发展便捷校区人文底蕴赋能校区生态合作
建设理念生态校区
绿色建筑
能源管理
低碳空间智能设施数字管理创新应用科技实践信用生活便捷交通共享空间以人为本平台支撑生态赋能资源合作高效管理
?
智慧校园规划与建设
建设目标
服务
智慧校园
建设目标
本质要求以方便用户为基础以协助科研为纽带以支撑管理为抓手一站式服务、普适服务信息技术支撑科学研究协同科研科研数据库跨地域团队虚拟仿真高性能计算探究式学习
协作式学习
翻转课堂
混合学习
泛在学习
学习分析
重构管理服务流程
决策支持
效率提升
大数据分析
人性化服务教师、学生、管理人员、服务人员方便获取信息服务以变革教学为突破信息技术融合于本科教学
1421智慧校园架构
山西大学智慧校园大数据平台+AI平台基础设施（数据中心+网络+存储+智能设备）
智慧服务智慧生活智慧运营智慧业务1234一个目标
（1）
四大功能
（4）
两个平台
（2）
一个支撑
（1） 整体规划
校园大数据平台设计与管理
?大数据平台架构
?统一数据管理
?统一安全管理
?统一运维管理
?制度保障
大数据平台架构
统一数据管理，共享数据资源师生数据资源
教学资源
实验资源
学术研究资源
用户上网资源
云平台资源
数据备份/恢复资源
统一服务平台
……
统一安全管理，提升安全防护
安全监测安全预警威胁情报
统一防护
专家值守
应急处置玄武盾平台
认清风险找出漏洞早发现早预警
情报共享区域网站统一防护安全专家7*24小时值守
加快响应提高处置能力
风险报告
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
校园网设计详细方案 2011年11月 校园网需求分析和方案设计综述 根据我校的实际情况分析，扩建后网络设计应满足以下几点需求： 1．由一个主干网和多个子网组成校园局域网（）。 2．主干网接入晋中教育城域网后代理接入全球互联信息网外接（），各子网再接入主干通信网。 3．主干网接入采用光纤接入宽带网，速率可在1000M以上 4．主干为千兆线路，其它线路为超五类双绞线。每个楼中都有局域网，终端机都能接入主干网，通过楼内的交换机接 入。网络中心和各分区都用千兆线路连接。 5、各应用平台的建设均可接入骨干网，构成子网应用平台。 一、方案设计的指导思想 就目前对部分需求和网络应用的需求考察结果，并尊重“长远考虑、就地起步”的规划，提出了在技术上遵循开放、标准、成熟、安全、可靠和可扩展的思想，追求技术上的先进性与成熟性、实用性相结合，追求整个系统性能的最佳化、理优化、节省费用等原则原则。 1．基于路由器和交换机的局部网间的互联是最好的解决方
案。因此，网络协议方面，以网际协议（）作为校园网网络系统的公用网络协议实行标准化。因为是的母语，并作为网络通信的通用语言而在世界范围内广泛使用。由于使用作为标准传输协议，在以后对网络进行扩充以与其它的网络互连时，可以跨越多个平台自然而然地提供互操作能力和无缝连接功能。所以，优化网络允许用户访问电子邮件、校园内部网和利益复杂的应用。 2．网络服务器要更换为世界知名品牌，可提供最优良的系统设备和优质的售后服务。 3．在主干网建设时，我们选择极具竞争力的价格提供所有技术，还拥有明确的技术方向，有助于未来应用的发展。为我们提供一个集成化、高性能、灵活、可伸缩、安全和高性能价格比的解决方案的标准。 4．在局部网建设方面，选择可伸缩的结构和高性能的设备，能够高速传输数据，同时通过技术保证，安全地接入和一体化的网络解决方案。 5．在选择最合适的产品提供解决方案的过程中，计算机终端设备的选型既考虑性能、价格比、设备的运行维护费用，不贪图眼前的利益，也考虑设备的可扩充性，今天的投入是今后发展积累的基础，确保系统主要设备的投入在整个系统的生命周期内能得到充分利用并具有强健灵活的体系结构。同时，也考虑局部子网对硬件和信息流量的要求，必须能够提供专用的高速带宽，以处理日常数据信息和峰值操作，并能够支持各种新技术和新增用户。 6．安全性是另一个关键要求，以晋中教育城域网代理接入能够保证安全地接入。 二、系统总体设计目标 综合以上的各种信息，结合当前的国外各类计算机系统应用情况，本网要实现的目标是： 满足日常工作的处理电子化、日常办公自动化、领导决策科学化，和信息交流快捷方便化。即实现业务系统处理、日常办公、领导决策计算机化、信息交流国际化的先进系统。即：以先进的计算机及通讯为手段建立内部网络，纵向向上与互联网相连，向下与各管理子网点
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 大数据的4V特征-来源 公司的“大数据” 随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如： 1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G; 2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T; …… 三国里的“大数据” “草船借箭”和大数据有什么关系呢?对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。
Google分布式计算的三驾马车 Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余(也就是一份文件保存多份在不同的电脑之上)的方式，来取得读写速度与数据安全并存的结果。 Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。 BigTable是在分布式系统上存储结构化数据的一个解决方案，解决了巨大的Table的管理、负载均衡的问题。 Hadoop体系架构 Hadoop核心设计
HDFS介绍-文件读流程 Client向NameNode发起文件读取的请求。 NameNode返回文件存储的DataNode的信息。 Client读取文件信息。 HDFS介绍-文件写流程
苏宁大数据离线任务开发调度平台实践：任务调度模块架构设计 weixin_34262482 2019-02-01 08:00:00 375 收藏2 作为国内最大的电商平台之一，苏宁每天要处理数量巨大的数据。为了更快速高效地处理这 些数据，苏宁调度平台采取了哪些措施呢？ 本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇，详解苏宁的任务调度模块。 目录 1.绪言\t1 2.设计目标与主要功能\t2 3.专业术语\t3 4.调度架构设计\t5 5.服务重启和任务状态恢复\t6 5.1 Master Active 组合服务\t7 5.2 Master HA高可用设计\t7 5.3 Recover任务状态恢复设计\t7 6.Web API接口服务\t9 7.后续\t10 1.绪言 在上一篇文章《苏宁大数据离线任务开发调度平台实践》中，从用户交互功能、任务调度、 任务执行、任务运维和对外服务等几方面，宏观层面进行了理论和实践的概述。 产品的用户功能重点需要把握用户实际的任务开发运维需求，合理的规划设计产品功能，在 使用和运维上便于用户操作，降低用户的开发使用成本。简单的说就是主要保证用户任务、 任务流等关键元数据的配置信息的准确性，以及任务状态的查询和干预能力，技术上实现不 存在难点，在此不再详细说明。 任务执行模块侧重于任务被领取后，如何根据任务类型选择不同的执行器（Executer）提交 任务执行，并将任务的执行状态及时准确的返回，由任务调度服务根据返回状态做相应的下 一步处理，除此以外还涉及到任务资源加载、任务配置解析与转换、自身健康状态检查与汇 报、worker进程与任务子进程通信、任务隔离、对外接口服务等，这块将在后面一节再跟
校园网设计方案(此文档为word格式，可任意修改编辑！）方案1:
一个完整的校园网建设主要包括两个内容：技术方案设计；应用信息系统资源建设。 技术方案设计主要包括：结构化布线与设备选择、网络技术选型等；应用信息系统资源建设主要包括：内部信息资源建设、外部信息资源建设等。这里我们介绍网络技术选型。 一、网络技术选型设计 校园网络系统基本可分为校园网络中心、教学子网、办公子网、图书馆子网、宿舍子网及后勤子网等。 1.校园网络中心的设计 网络中心设计主要包括主干网络的设计、校园网与Internet的互连、远程访问服务等。 (a)主干网络的设计 主干网络采用联想新推出的LS－5608G智能型8联机箱式千兆以太网交换机作为校园网的中心交换机，它提供8个插槽，可选插8联的10/100Base－TX、2联的100Base－FX或1联的千兆以太网模块。适用于大型主干网络和高速率、高端口密度、多端口类型的复杂网络。
同时可以选择MS－5103千兆位以太网模块(SX/MM/850nm,0－350m)或MS－5104千兆以太网模块(LX/SM/1310nm,0－6km)与下面的各个子网通过千兆位的链路相连。 (b)校园网与Internet的互连： 推荐采用局域网专线接入方式，此方式需要配备路由器等设备，租用专线DDN或帧中继（Frame Relay），也可申请ISDN专线并向CERNET 管理部门申请IP地址及注册域名，以专线方式连入Internet，并提供防火墙、计费管理等功能。 本方案选用联想的LR－2501路由器，具有1个局域网(LAN)，2个广域网(WAN)和1个控制台。支持帧中继(Frame－Relay)、X.25、PPP、HDLC协议。 (c)远程访问服务 采用联想LA－220和LA－240访问服务器，安装在本地局域网中，通过1至4个调制解调器(或ISD TA)和1至4根电话线，即可为远程访问人员提供拨号上网服务，远程用户只需拥有1个调制解调器和1根电话线，通过拨接LA－220或LA－240上所连接的电话号码，就可以登录访问。
互联网+电子政务 顶层设计与规划设计方案1
目录 第1章总则 (14) 1.1、指导思想 (14) 1.2、总体目标 (14) 1.2.1、政务服务标准化 (15) 1.2.2、政务服务精准化 (15) 1.2.3、政务服务便捷化 (15) 1.2.4、政务服务平台化 (16) 1.2.5、政务服务协同化 (16) 第2章重点任务 (17) 2.1、业务支撑体系建设 (17) 2.2、基础平台体系建设 (18) 2.3、关键保障技术体系建设 (19) 2.4、评价考核体系建设 (19) 第3章“互联网+政务服务”的主要内容 (20) 3.1、按事项性质分类 (21) 3.2、按服务对象分类 (22) 3.3、按实施主体分类 (22) 3.4、按服务主题分类 (22) 3.5、按服务层级分类 (23) 2
3.7、按行政管辖分类 (23) 第4章“互联网+政务服务”平台总体架构 (23) 4.1、总体构架 (24) 4.1.1、总体层级体系 (24) 4.1.1.1、国家级平台 (26) 4.1.1.2、省级平台 (26) 4.1.1.3、地市级平台 (27) 4.2、平台系统组成 (28) 4.3、建设方式 (30) 4.3.1、分建方式 (30) 4.3.2、统分方式 (31) 4.3.3、统建方式 (32) 4.4、业务流程 (33) 4.5、平台技术架构 (35) 4.5.1、基础设施层 (36) 4.5.2、数据资源层 (36) 4.5.3、应用支撑层 (36) 4.5.4、业务应用层 (37) 4.5.5、用户及服务层 (37) 4.6、用户注册和认证体系 (37) 4.6.1、分建方式 (38) 4.6.2、统分方式 (39) 3
校园生活助手平台的设计与实现 摘要：本系统是一个基于WX公众号平台的系统，通过对学生校园生活轨迹进行研究和调查，将高校学生各大功能需求进行整合，方便在校学生的日常学习和生活。系统分为用户模块和管理员模块：用户模块包含失误招领，物品交易，留言反馈及特色功能等；管理员通过WX公众号官网对用户发布的信息进行管理和维护。 关键词：WX公众号平台；大学校园；校园助手 Abstract: The system, which integrates major functions needed by college students for campus lives, is based on the WeChat Official Account Admin Platform. The system is consisted of the user module and the administrator module. The user module provides users with the functions of lost and found, item transaction, message feedback and so on. The administrator manages and maintains the information posted by users through the WeChat Official Account Admin Platform. Keywords:the WeChat Official Account Admin Platform; The university campus; Campus assistant
旗开得胜 高校智慧校园 存储解决方案 - 1 -
旗开得胜 - 2 -
第1章数字化校园发展现状及需求分析 1.1 智慧校园概念 在20世纪末提出“智慧校园”概念以来的十几年中，智慧校园经过高校信息化建设的不断摸索，逐渐的发展起来，目前已进入快速发展期。 信息技术的飞速发展为高校信息化建设提供了机遇和条件，也不断暴露出很多新问题，如信息孤岛、信息安全等问题导致业务流程不通畅、用户使用不方便、系统应用推广难等等。随着应用系统的增多，经常需要牵扯到其它应用和流程的改造，以便进行数据共享、交换和更新。这就需要建设一个统一的信息访问平台。 目前，国内智慧校园的发展具有明显的地域性和层次性。发达地区的教育机构智慧校园建设程度好于欠发达地区。高教、普教、职教、幼教、成教等各种教育层次，由于业务特性、管理体制和信息化普及程度存在差异，对智慧校园的需求和体会也存在着很大的差异性。从差异中总结共性，针对个性化的需求模式提供定制化的校园建设方案，将现代教育思想和现代信息技术结合起来，建立了一套数字化校园解决方案，保证了学校的投资最大化、业务个性化、管理职能整合化、老师学生便利化。 智慧校园是一个广范围概念，它包括了现实校园及数字化空间，也包含了当前流行的虚拟大学。现实校园是智慧校园的基础，智慧校园是现实校园通过信息技术在时间和空间上的扩展与延伸，它包含了现实校园及其所衍生出来的数字空间，虚拟大学是智慧校园的远程教育功能部分，是智慧校园的对外服务的部分职 - 3 -
能，它是传统校园数字化后社会功能的延伸。 智慧校园是利用计算机技术、网络技术、通信技术对学校与教学、科研、管理和生活服务有关的所有信息资源进行全面的数字化；并用科学规范的管理对这些信息资源进行整合和集成，以构成统一的用户管理、统一的资源管理和统一的权限控制；把学校建设成面向校园内，也面向社会的一个超越时间和空间的虚拟大学。 智慧校园是以网络为基础，从环境、资源、到活动的全部数字化校园网络及其应用系统构成整个校园的神经系统，完成校园的信息传递和服务。在智慧校园里，可以通过现代化手段，方便地实现学校的教学、科研、管理、服务等活动的全部过程，从而达到提高传统校园效率，扩展传统校园功能，最终实现教育过程的全面信息化，达到提高教育水平、管理效率的目的。 1.2 智慧校园需求分析 智慧校园应用系统建设，就是通过利用校园网上的网络基础设施，构建各种校园的应用支撑平台与信息服务系统，建立一个虚拟校园的校园应用系统，实现数字化的学习和数字化的管理。在面向信息服务的架构下，在计算资源整合、信息整合、应用整合的基础上，实现流程与内容的整合。通过任务驱动与流程调度控制，可有效协调校园所有人员、资源调配。可以有效提高教学、科研、管理和生活水平和运作效率。从长远的应用和服务上，建立完善的信息管理和运作机制， - 4 -
1.技术实现框架 1.1大数据平台架构 1.1.1大数据库是未来提升业务能力的关键要素 以“大数据”为主导的新一波信息化浪潮正席卷全球，成为全球围加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前，大数据技术已经从技术研究步入落地实施阶段，数据资源成为未来业务的关键因素。通过采集和分析数据，我们可以获知事物背后的原因，优化生产/生活方式，预知未来的发展动态。 经过多年的信息化建设，省地税已经积累了丰富的数据资源，为下一步的优化业务、提升管理水平，奠定了坚实的基础。 未来的数据和业务应用趋势，大数据才能解决这些问题。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P12 “银行的大数据资产和应用“，说明税务数据和业务分析，需要用大数据解决。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P14 “大数据与传统数据处理”，说明处理模式的差异。 1.1.2大数据平台总体框架 大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析工具层和业务应用层。如下图所示：
（此图要修改，北明） 数据源层：包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据； 数据接口层：是原始数据进入大数据库的入口，针对不同类型的数据，需要有针对性地开发接口，进行数据的缓冲、预处理等操作； 平台架构层：基于大数据系统存储各类数据，进行处理？； 分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具； 业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发现获知事物背后的原因，预知未来的发展趋势，提出优化业务的方法。例如，寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。 1.1.3大数据平台产品选型 针对业务需求，我们选择巨杉数据库作为大数据基础平台。
智慧校园技术白皮书
一、数字校园建设目标 在国家教育行业信息化的政策背景下，数字校园的建设水平体现了高校教育信息化的程度，也反映了决策者的对现代教育发展趋势高瞻远瞩的水平；更是衡量学校办学能力和教学科研水平的重要标准之一。 根据教育部《教育信息化十年发展规划（2011-2020年）》关于“加强高校数字校园建设与应用。利用先进网络和信息技术，整合资源，构建先进、高效、实用的高等教育信息基础设施”的要求，结合高校实际情况，开展本期数字校园建设。实现学校信息化跨越式发展，充分提升学校的管理和服务能力。 数字校园建设的主要目标是： 1．实现校园内教学、科研、管理、服务的数字化、信息化、网络化，深化教育改革，提高办学质量、办学效益和科研水平； 2．实现信息资源和信息服务的合理规划、合理分配、合理利用； 3．提高学校管理过程和管理系统的质量、效益、效率； 4．保证资源和服务的可靠性、安全性、科学性。
二、信息化现状和需求 1.信息化现状 经过多年的信息化建设，目前学校完成建立校园骨干网络建设。已经完成部分应用系统建设，这些信息化建设内容在学校取得了许多很好的实际应用效果，也为学校的信息化建设提供了良好的环境。传统的信息化建设存在以下问题： 1.存在信息孤岛，教务处、财务处、人事处等系统及数据各自独立，部门数据不能有效及时 交互，导致财务收支存在漏洞。 新生数据不能及时同步到各部门，导致各部门工作难以有效开展； 学籍变动、人事变动，信息缺乏互通，造成财政收支漏洞； 学生处和后勤部门信息不统一，学生突发状况很难处理； …… 2.缺乏校园信息化集中应用与展示平台，各自独立的应用系统导致缺乏协同工作能力，也缺 乏为用户提供个性化信息服务的能力。重管理轻服务，为师生提供的信息服务没有良好的应用体验。 学生入学时：对于报到注册流程不能及时获取，迎新现场无序； 学生在校时：各类申请服务需要填写大量的重复信息，十分繁杂； 学生离校时：不清楚离校手续审批情况，仍然需要到每个业务部门排队盖章； 老师年底时：年终总结填写，仍要到各个系统去统计自己的工作量、科研情况，不能通过系统统一获取和生成； …… 3.单个部门的信息系统（如教务管理、图书馆管理、资产管理等），很难站在自己这个信息 集上,进行整个学校的全面信息查询和决策分析，各个应用系统能够发挥的效益没有更好地利用和挖掘。 全校总体情况统计信息，不全面、不及时、不准确；
微校园平台设计方案 一、前言 目前我公司设计的“微家园”项目已经投入运营，在举行完第一次活动后效果并不是很理想，而后续的功能设计上将会侧重互动、便民、惠民等方向。具体“微家园”项目的总结不再过多阐述，但在微家园项目的进行中，在功能、经验等方面都可以进行另一个项目的移植，也就是本方案所提出的“微校园”（或“智慧校园”）项目。 其实对于校园项目，目前涉足的公司还是比较多的，而在微信上，已经有很多家公司瞄准此项目，而且也做得非常不错，粉丝量和活跃都比较好。经过初步调查发现，在石家庄或河北省内，虽然有企业已经涉足此类内容，但是仅仅也是提前占领市场，并没有在校园中深入去做一些内容，介于此，我们应该尽快的占领校园市场，对校园项目进行深度开发与挖掘。 二、项目分析 校园项目与社区项目类似，学生群体具有人群集中、需求集中传播速度快、属性明确等优点。在之前所作过的几个校园项目中，发现学生群体的优势要大于社会人群，首先是学生比较单纯，做事没有太多的考虑，不想社会人群关系和心理那样复杂，在学生群体中采集信息比在社会中采集信息要容易的多。再有一个就是传播速度，因为学生是群居性动物，在学校中人与人之间的关系复杂程度要比社会上简单的多，而且人与人之间的关系建立也简单的多，他们大多是以宿舍、班级、社团、爱好等形成关系网，而社会中大多的关系网是利益，就此而言，在传播速度上，学生群体要比社会群体快得多。 在校园项目中，我们可以平移社区的一些功能，但主要的功能要放在社交上，因为学生的闲暇时间比较多，而他们往往会利用这些闲暇时间进行社交活动，这些社交活动涉及朋友、
社团、学习、交易、组织活动等方面，该项目的设计也是围绕这些方面进行的。 三、项目设计 综述 该项目采用服务号和订阅号两种模式进行。 首先服务号定义为“微校园”，主要任务是提供微信认证服务，所有加入服务号或订阅号的目标用户，都要经过服务号的认证，今后不论是从哪些公众号访问的用户，都需要服务号提供服务。 订阅号，如果有需求的话，可以为每个学校或学院建立一个，让学生更有归属感，用户通过扫码的方式加入到该院校的订阅号中，但同时需要服务号的认证及服务提供。 微校园项目将分为互动交友、个人中心、二手市场、校内直供、积分系统、活动组织、社团模块、微话题、群聊模块、通知等模块及一些诸如课程表、线路查询等一些小工具，本系统的重点将放在互动上。 互动交友系统 交友系统是该方案的核心部分，也是预计将来产生流量最多的地方，该部分的设计理念是“交流”，通过该部分将目标客户群的参与积极性调动起来，同时让目标客户对平台产生持续的依赖性。 用户在初次使用该功能的时候，首先要提交自己的信息资料，通过个人主页创建自己的信息表（如【图3-1】）。
车联网大数据平台架构设计-软硬件选型 1.软件选型建议 数据传输 处理并发链接的传统方式为：为每个链接创建一个线程并由该线程负责所有的数据处理业务逻辑。这种方式的好处在于代码简单明了，逻辑清晰。而由于操作系统的限制，每台服务器可以处理的线程数是有限的，因为线程对CPU的处理器的竞争将使系统整体性能下降。随着线程数变大，系统处理延时逐渐变大。此外，当某链接中没有数据传输时，线程不会被释放，浪费系统资源。为解决上述问题，可使用基于NIO的技术。 Netty Netty是当下最为流行的Java NIO框架。Netty框架中使用了两组线程：selectors与workers。其中Selectors专门负责client端（列车车载设备）链接的建立并轮询监听哪个链接有数据传输的请求。针对某链接的数据传输请求，相关selector会任意挑选一个闲置的worker线程处理该请求。处理结束后，worker自动将状态置回‘空闲’以便再次被调用。两组线程的最大线程数均需根据服务器CPU处理器核数进行配置。另外，netty内置了大量worker 功能可以协助程序员轻松解决TCP粘包，二进制转消息等复杂问题。 IBM MessageSight MessageSight是IBM的一款软硬一体的商业产品。其极限处理能力可达百万client并发，每秒可进行千万次消息处理。 数据预处理 流式数据处理 对于流式数据的处理不能用传统的方式先持久化存储再读取分析，因为大量的磁盘IO操作将使数据处理时效性大打折扣。流式数据处理工具的基本原理为将数据切割成定长的窗口并对窗口内的数据在内存中快速完成处理。值得注意的是，数据分析的结论也可以被应用于流式数据处理的过程中，即可完成模式预判等功能还可以对数据分析的结论进行验证。 Storm Storm是被应用最为广泛的开源产品中，其允许用户自定义数据处理的工作流（Storm术语为Topology），并部署在Hadoop集群之上使之具备批量、交互式以及实时数据处理的能力。用户可使用任意变成语言定义工作流。 IBM Streams IBM的Streams产品是目前市面上性能最可靠的流式数据处理工具。不同于其他基于Java 的开源项目，Streams是用C++开发的，性能也远远高于其他流式数据处理的工具。另外IBM 还提供了各种数据处理算法插件，包括：曲线拟合、傅立叶变换、GPS距离等。 数据推送 为了实现推送技术，传统的技术是采用‘请求-响应式’轮询策略。轮询是在特定的的时间间隔（如每1秒），由浏览器对服务器发出请求，然后由服务器返回最新的数据给客户端的浏览器。这种传统的模式带来很明显的缺点，即浏览器需要不断的向服务器发出请求，然而HTTP request 的header是非常长的，里面包含的数据可能只是一个很小的值，这样会占用很多的带宽和服务器资源。
项层设计总结 1项层设计内容 1.1基础设施建设 1.1.1宽带网络 （1）宽带网络接入能力 （2）宽带网络普及率 （3）宽带用户渗透率 1.1.1.1家庭光纤可接入率 光纤接入是指局端与用户之间完全以光纤作为传输媒体。光纤接入覆盖率是反映了城市基础网络设施发展水平核心指标之一。智慧城市的家庭光纤可接入覆盖率应在99%以上。 1.1.1.2无线网络覆盖率 指通过各种无线传输技术实现的无线网络连接在城市区域的覆盖率。智慧城市的无线网络覆盖率应在95%以上。 1.1.1.3主要公共场所WLAN 覆盖率 指大专院校、交通枢纽、商业集中区、公共活动中心等主要公共场所WLAN 覆盖率。智慧城市主要公共场所WLAN 应达99%以上。 1.1.1.4广播电视网 指电信网、计算机网和有线电视网融合发展、互通互联以及相关衍生业务的发展水平。智慧城市的NGB 覆盖率应在99%以上。 1.1.2电子政务外网 建设统一的电子政务OA办公系统
统筹规划和建设全县电子政务的外网服务平台、内网办公平台，逐步实现电子政务统一规划、统一建设、统一管理、统一应用。建立健全政务信息共享与交换的规范和机制，制订和完善政务信息资源目录体系，加强对政务信息采集、存储、共享等环节的管理，规范各部门的信息交换工作，逐步消除“信息孤岛”现象，提升政府行政效率。 1.1.3政务数据中心 1.1.3.1网络需求 (1)由于政府行业的性质，在构建数据中心时需要搭建两张物理隔离的网络及其相关的服务器、 存储及运行其上的应用，两张网之间的数据交互必须通过单向导入设备或其它数据交换硬 件设备来保证内网的安全性及数据交换的管理和控制。政务内网和外网在数据中心的构建 层面上是相似的，包括网络、服务器、存储、数据库、中间件、安全、IT服务管理和应用 等。 (2)政务内、外网需根据国家《信息安全等级保护管理办法》、《涉及国家秘密的计算机信息系 统分级保护技术要求》、《电子政务信息安全等级保护实施指南（试行）》的要求进行安全 域的划分，政务内外网需划分二级、三级安全域，各安全域能根据业务需求灵活划分业务 功能域。不同级别安全域之间需根据安全等级保护要求进行逻辑隔离或物理隔离，不能互 访。 (3)由于数据中心需要支持政务服务、企业服务和公共服务，因此数据中心网络需要支持如下 多种类型的接入用户： a)互联网用户：主要是个人用户和企业人员通过互联网访问数据中心来获取公共服务； b)政府部门用户（包括办公网用户、远程办公用户、移动用户）：通过访问数据中心内网 核心区业务的终端用户 c)数据中心运维管理人员：主要负责数据中心运行维护管理的人员，如系统管理员、数 据库管理员、网络管理员、存储管理员、业务应用管理员等。 1.1.3.2安全需求 政府数据中心由于自身对安全的高要求，因此需要数据中心通过构建政务内网和政务外网以及安全域来保证电子政务业务的安全性、便利性和可服务性。数据中心需进行政务内外隔离、安全域划分，需对不同安全域按安全等级要求进行安全管理、用户与身份、数据安全、应用安全、IT基础
校园电子商务平台设计 一．（1）设计背景 电子商务的发展，改变了传统商务的模式，其本身具有极大的优势和发展前景。对于我们国家来说，发展电子商务可以促进我国企业的内部改革，加快企业的信息化建设,提高企业服务质量，并为我国参与国际竞争打下坚实基础。但目前在中国大面积发展企业电子商务，还受到很多因素的制约,如网络带宽、安全认证、物流配送、企业信息化程度、人们的消费观念等，不过在大学校园发展电子商务的话，这些问题都可以得到一定程度的解决。近年来，社会各行业都已进行电子商务建设，校园电子商务也开始进入普及阶段。我国校园电子商务的建设虽然取得了一些成绩，但与发达国家相比，差距还很大。目前，我国还没有比较实际的校园电子商务构筑平台，更缺乏成熟的校园电子商务软件。所以，如何抓住全球信息化所带来的机遇，采用internet技术，根据自身校园的特点，构筑校园电子商务平台，以适应校园现代化管理的需要，将是我们教育界乃至整个社会面临的机遇和挑战。 （2）设计理念 校园电子商务平台是指在校园范围内利用基础网络、计算机硬件、软件和电子通讯手段构建，满足校园内单位、企业或个人进行商务、工作、学习、生活各方面活动需要的一种高可用性、伸缩性和安全性计算机系统。它以校园网为依托，服务于广大师生员工。 二．设计规划步骤 1.建立网上商店 首先，必须建立一个网上商店, 提供信息发布，有供应的信息和需求的信息，满足浏览者根据他们的需要，新颖的网站设计也是吸引顾客的焦点, 当然, 更重要的还是要能提供丰富的服务和商品, 如设计简易的购物操作过程和方便快捷的信息查找。 2.与校园后勤服务部门联合 校园电子商务与后勤部门的关系应该是既有联合又有竞争的关系, 可以打破目前大多数高校中后勤服务垄断的局面, 全面提高后勤服务质量, 开拓新的服务内容。如自办小批量零售业务, 利用网络的特点为企业产品做广告宣传、代理校内销售等。 3.设计网站布局及内容展示 4.通过发放宣传手册打响网店的知名度 5.在校园网内建立网站链接，方便同学们找到并访问网店 三．网站设计内容 1.自主选择商品模块，采用左侧导航栏方便顾客自主选择喜欢的商品。通过校园后勤服务部门的物流渠道，开展代购物品(如报纸，食品，文具，书籍，礼品，鲜花等)，送货上门的业务, 使师生们真正做到足不出户便能享受到信息化的便捷服务。2二手交易市场模块 高校的二手交易市场绝对是一个大市场，每年都有毕业生要毕业，每年都有新生来报到，毕业生们不可能将几年来留存下的东西都带走，有些物品已成为累赘，
数据中心架构建设计方案建议书 1、数据中心网络功能区分区说明 1.1 功能区说明 图1：数据中心网络拓扑图 数据中心网络通过防火墙和交换机等网络安全设备分隔为个功能区：互联网区、应用服务器区、核心数据区、存储数据区、管理区和测试区。可通过在防火墙上设置策略来灵活控制各功能区之间的访问。各功能区拓扑结构应保持基本一致，并可根据需要新增功能区。 在安全级别的设定上，互联网区最低，应用区次之，测试区等，核心数据区和存储数据区最高。 数据中心网络采用冗余设计，实现网络设备、线路的冗余备份以保证较高的可靠性。 1.2 互联网区网络 外联区位于第一道防火墙之外，是数据中心网络的Internet接口，提供与Internet 高速、可靠的连接，保证客户通过Internet访问支付中心。 根据中国南电信、北联通的网络分割现状，数据中心同时申请中国电信、中国联通各1条Internet线路。实现自动为来访用户选择最优的网络线路，保证优质的网络访问服务。当1条线路出现故障时，所有访问自动切换到另1条线路，即实现线路的冗余备份。
但随着移动互联网的迅猛发展，将来一定会有中国移动接入的需求，互联区网络为未来增加中国移动（铁通）链路接入提供了硬件准备，无需增加硬件便可以接入更多互联网接入链路。 外联区网络设备主要有：2台高性能链路负载均衡设备F5 LC1600，此交换机不断能够支持链路负载,通过DNS智能选择最佳线路给接入用户,同时确保其中一条链路发生故障后,另外一条链路能够迅速接管。互联网区使用交换机可以利用现有二层交换机，也可以通过VLAN方式从核心交换机上借用端口。 交换机具有端口镜像功能，并且每台交换机至少保留4个未使用端口，以便未来网络入侵检测器、网络流量分析仪等设备等接入。 建议未来在此处部署应用防火墙产品，以防止黑客在应用层上对应用系统的攻击。 1.3 应用服务器区网络 应用服务器区位于防火墙内，主要用于放置WEB服务器、应用服务器等。所有应用服务器和web服务器可以通过F5 BigIP1600实现服务器负载均衡。 外网防火墙均应采用千兆高性能防火墙。防火墙采用模块式设计，具有端口扩展能力，以满足未来扩展功能区的需要。 在此区部署服务器负载均衡交换机，实现服务器的负载均衡。也可以采用F5虚拟化版本，即无需硬件，只需要使用软件就可以象一台虚拟服务器一样，运行在vmware ESXi上。 1.4 数据库区
北京市政务大数据平台顶层设计框架及应用方案
北京市政务大数据平台顶层设计框架及应用方案本文摘自穆勇在中关村大数据产业联盟上所做的演讲。 一、大数据在政务领域应用的概述 说起大数据技术的应用，首先是在互联网行业起步并逐步拓展到电信、金融、工业等多个领域，产生了巨大的社会价值和产业空间，现正拓展到政务领域。 （一）大数据技术在互联网行业的成功应用，那些地方是值得我们关注的 第一，应该是思维观念和运作方式的变化，所谓的互联网思维，其核心理念包括： 体外互动：邮件、电话、信件互动---服务导引 服务外包：购买服务---简单服务 让渡社会：众包---自助服务 边界开放：数据开放---创造服务 第二，是其技术演进，针对数据处理的技术 首先是传统数据分析处理阶段，该阶段是面向结构化数据，非结构化处理效率低；硬件成本高；平台兼容性差。其次是基于
云计算的大数据处理阶段，该阶段总体有了很大的改进和提升，主要体现在：具备结构化/非结构化混合分析的能力；基于消费级硬件，不依赖高性能、高可靠性硬件，从而保障系统性能和可靠性；平台兼容性好、扩展性高；进而业界又提出去IOE的思路。 第三，是数据挖掘分析技术 画像技术以及各类数据融合、分析、挖掘、预测等。 这些都是政务领域需要学习与借鉴的。为此，我认为：大数据在政务领域应用即包括用新的思维、模式与技术来解决电子政务需求，也包括了政务大数据新的应用。对于第一个方面比较容易理解，对于第二个方面需要对政务大数据给出定义。有些人认为政府没有大数据，只有传统的小数据或中数据。这个问题我们将在下一节专门中进行讨论。 政务领域是大数据应用崭新的领域，它将极大的改变政府的管理模式，有利于节约政府投资、提高政府决策能力、提升公共服务和社会管理能力，开展大数据在政务领域的应用是大势所趋，势在必行。同时，政务大数据本身也不同于其它领域或行业的数据，其复杂程度和需求的多样化比互联网行业大的多，也难的多。 （二）政务大数据的定义及特点
智慧校园平台建设需求分析 1.1总体需求 1.1.1一站式服务需求 学校现有的各种应用存在重管理轻服务的现象，为师生提供的信息服务不够全面。原有模式按照管理信息化系统和教学信息化系统的分类来投资和组织实施教育信息化工程项目。 在“技术导向”的思维模式下，实施过程中表现出明显的“重建设、轻应用”偏向，不仅导致教育信息化投资效率不高，而且对促进教育改革、推动学习方式变革、提高教育质量影响不大。 需要实现业务的整合贯通，通过统一平台，提供面向师生的一站式服务。 1.1.1.标准化需求 缺少统一的技术体系标准及详细的整体建设规划，不利于长期发展。 在信息化建设过程中，业务系统由各个部门主导完成，缺少技术及功能的长期规划。主要解决当期的、局部的需求满足，各部门独立建设、独立维护，没有形成统一管理，有的甚至造成系统的重复建设。不利于学校信息化的长期发展，造成了严重的资源浪费。
需要通过统一的标准和体系建设，进行长远的规划。1.1.3.开放性需求 业务系统的开发和维护模式不统一，更新维护困难。 学校各应用系统的开发平台、数据库和运行环境千差万别，没有形成一个统一的考虑。随着校园网上应用和资源越来越多，应用缺乏有效的组织和管理，技术升级存在风险，从而也带来业务系统维护成本不断增加的问题。 需要数字化校园是一个开放性的平台，提供面向学校未来需求变化和扩展，通过开放性的平台进行持续改进，并能够实现更加方便的系统维护。 1.1.4.数据共享需求 缺乏数据标准，业务系统之间数据难以共享，给各部门的协作业务处理带来困难。 由于数据缺乏标准，现有的系统无法提供相互数据交换的功能，这使得某些数据需要跨部门使用时，还依赖于手工的传递或通过电子邮件等方式半手工的传递。这种低效率的信息共享方式无法满足各部门及时获取需要其他部门信息的需求，同时也无法进行跨业务部门的业务流程系统建设。 需要建立数据共享机制及规范，实现校园数据的共建共享，协同发展。
智慧校园统一平台建设方案
目录 第1章系统概述 (6) 1.1设计背景 (6) 1.2现状分析 (6) 1.3设计目标 (8) 1.3.1一站式服务需求； (8) 1.3.2标准化需求； (8) 1.3.3开放性需求； (8) 1.3.4数据共享需求 (9) 1.3.5对历史数据的挖掘和分析 (9) 1.3.6基于信息的“智慧”业务应用 (9) 1.4设计原则 (9) 1.4.1以平台为框架，无缝集成学校已建和今后新建的业务应用系统。 (9) 1.4.2全面规划、分步实施的原则 (10) 1.4.3先进性原则 (10) 1.4.4扩展性原则 (10) 1.4.5系统安全性原则 (10) 第2章系统总体设计 (10) 2.1总体设计思路 (10) 2.2系统总体架构 (11) 第3章建设方案 (12) 3.1信息标准 (12) 3.2共享数据中心平台 (12) 3.2.1平台概述 (12) 3.2.2平台目标 (13) 3.2.3平台功能 (14) 3.3数据清洗与整合平台 (15) 3.3.1平台概述 (15)
3.3.2平台功能 (15) 3.4统一身份认证平台 (16) 3.4.1平台概述 (16) 3.4.2平台功能 (17) 3.5统一信息门户平台 (18) 3.5.1平台概述 (18) 3.5.2平台功能 (19) 3.6空中智慧校园平台 (21) 3.6.1平台概述 (21) 3.6.2平台功能 (22) 3.6.3平台特点 (24) 3.7综合信息查询系统 (24) 3.7.1平台概述 (24) 3.7.2平台功能 (25) 3.8学生生命周期业务系统 (26) 3.8.1迎新报到管理系统 (26) 3.8.2学工管理系统 (26) 3.8.3宿舍管理系统 (26) 3.8.4教务管理系统 (27) 3.8.5离校管理系统 (27) 3.8.6校友系统 (27) 3.9教师管理与服务业务系统 (28) 3.9.1办公管理系统 (28) 3.9.2人事管理系统 (28) 3.9.3评教管理系统 (29) 3.9.4教材管理系统 (29) 3.10安全设施 (29) 3.10.1数字证书管理系统 (29) 3.10.2虚拟专网(SSL VPN) (29)
常见的大数据平台架构设计思路 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。 本文主要包括以下几个章节: 本文第一部分介绍一下大数据基础组件和相关知识。第二部分会介绍lambda架构和kappa架构。第三部分会介绍lambda和kappa架构模式下的一般大数据架构第四部分介绍裸露的数据架构体系下数据端到端难点以及痛点。第五部分介绍优秀的大数据架构整体设计从第五部分以后都是在介绍通过各种数据平台和组件将这些大数据组件结合起来打造一套高效、易用的数据平台来提高业务系统效能，让业务开发不在畏惧复杂的数据开发组件，无需关注底层实现，
只需要会使用SQL就可以完成一站式开发，完成数据回流，让大数据不再是数据工程师才有的技能。 一、大数据技术栈 大数据整体流程涉及很多模块，每一个模块都比较复杂，下图列出这些模块和组件以及他们的功能特性，后续会有专题去详细介绍相关模块领域知识，例如数据采集、数据传输、实时计算、离线计算、大数据储存等相关模块。 二、lambda架构和kappa架构 目前基本上所有的大数据架构都是基于lambda和kappa 架构，不同公司在这两个架构模式上设计出符合该公司的数据体系架构。lambda 架构使开发人员能够构建大规模分布式数据处理系统。它具有很好的灵活性和可扩展性，也对硬件故障和人为失误有很好的容错性，关于lambda架构可以在网上搜到很多相关文章。而kappa架构解决了lambda架构存在的两套数据加工体系，从而带来的各种成本问题，这也是目前流批一体化研究方向，很多企业已经开始使用这种更为先进的架构。 Lambda架构