基于一卡通数据的校园大数据分析平台的构建与应用

华中师范大学学报（自然科学版）２０１７年５月 ＪＯＵＲＮＡＬ　ＯＦ　ＣＥＮＴＲＡＬ　ＣＨＩＮＡ　ＮＯＲＭＡＬ　ＵＮＩＶＥＲＳＩＴＹ（Ｎａｔ．Ｓｃｉ．） Ｍａｙ　２０１７收稿日期：２０１７－０３－１８．基金项目：《基于大数据的高校智能数据分析系统研究与实现》（２０１６ＪＢＭ０７７）　文章编号：１０００－１１９０（２０１７）Ｓ１－０１４６－０６基于一卡通数据的校园大数据分析平台的构建与应用夏　杨，王　芳（北京交通大学信息中心，北京１０００４４）摘　要：基于大数据分析技术对校园一卡通系统中累积起来的数据进行分析和挖掘，建立决策模型，大数据标准、管理和规范，进一步构建一体化、智能化、高可靠性和安全性的高校大数据综合管理与决策平台，为学生管理工作提供决策支撑，促进学生管理与决策科学化．关键词：校园一卡通；大数据分析平台；建模；决策中图分类号：ＴＰ３９９文献标识码：Ａ 近年来，随着各高校“数字化校园”和“智慧校园”的建设发展，一卡通在校园的核心作用越来越突出．校园一卡通具备的主要功能包含信息验证、消费服务、图书借阅服务、生活服务等功能，并且能够有效地集成高校内的所有资源以及子系统．通过校园一卡通能够清晰掌握一卡通用户的活动轨迹，以此为基础，进一步推动高校数字化管理系统建设和信息管理水平．校园一卡通的使用包括就餐、就医、图书借阅、淋浴和网络消费等校园生活的方方面面，随之产生的是更为丰富而庞大的一卡通数据信息．基于大数据分析技术逐步挖掘出高校数据价值，建立决策模型，大数据标准、管理和规范，构建一体化、智能化、高可靠性和安全性的高校学生行为大数据综合管理与决策平台，进一步落实高校信息化建设目标［１］．１校园一卡通我校（以北京交通大学为例）校园一卡通平台是用户层、中间层和数据层三层系统架构．主要包括身份认证功能、充值功能和消费功能等．利用平台预留的扩展接口可以与校内教务管理系统、财务管理系统和图书服务系统等实现数据共享［２］．校园一卡通一年的交易数据庞大，以校园一卡通数据为切入点，通过大数据技术对积累的历年海量数据进行分析挖掘，量化描述一卡通用户的校园行为轨迹，逐步建立和完善决策模型，大数据标准、管理和规范，进而建立完善的大数据平台是十分可行的．２大数据分析平台构建２．１平台架构我校的大数据分析平台架构如图１所示，经过对一卡通等数据源的海量数据进行采集、整合、存储、建模，将分析结果用以指导学生管理和学校建设，产生积极作用．平台构建首先是数据汇集，搭建统一数据平台，实现学校多源异构数据采集、清洗和存储；然后对数据进行关联分析，将校园数据可视化展示，实现跨业务数据分析，辅助实际工作和决策；最终开发服务于全校师生的数据应用产品及辅助决策的数据产品．我校的大数据平台包括Ｈａｄｏｏｐ集群共１２个节点，含１台管理节点，１１台ＤａｔａＮｏｄｅ，ＣＰＵ总核数１２２个，存储容量９．０８ＴＢ，目录数为１２　５２５，文件数２６　２０７，ＨＤＦＳ利用率达到８０．００％．整合了校园数据中心（含学工系统、人事库、科研中心、研究生教务、本科生教务、迎新、招生、就业等）、一卡通、医疗、图书馆、上网、课程教学平台等主要１４大系统，共接入１６４张表，清洗整合完成１１９张表，表视图结构如图２所示．　第Ｓ１期夏　杨等：基于一卡通数据的校园大数据分析平台的构建与应用１４７　图１　大数据分析平台架构图２　数据平台表结构图２．２基于校园一卡通数据构建分析模型接入分析校园一卡通数据总量为９１　７７３　３５８条．大数据平台将学生与教师主题域分为两类数据：基础数据和行为数据．基础数据包含学生基础信息、社团信息等；行为数据包含学生消费、上网、图书借阅等日常生活行为轨迹的信息．具体包含的数据维度有校园餐饮和消费、网费消费、门禁记录、借阅记录、就医记录、淋浴记录等．通过这些维度，结合师生基本情况信息和学校管理信息（包含奖惩助贷数据），构建数据分析模型，如图３所示．通过数据模型可以得到各种属性和标签信息，规范化定义和归纳这些特征，就可以量化描述个人校园生活的轨迹，进一步形成个人生活数字画像［３］．标签的产生和管理是个人生活数字画像的关键．通过机器学习提取出数据统计结果，结合人工定义形成了标签数据，对标签数据进行规范化处理和存储，进一步通过定义的学习规则不断更新优化标签库．通过不断的知识学习形成准确的标签数１４８　华中师范大学学报（自然科学版）第Ｓ１期据．通过这些标签可以描述出某个学生的生活特征，例如贫困情况、阅读情况，餐费消费等．标签数据运算流程见图４．图３　数据分析模型图４　标签运算流程２．３大数据分析平台功能基于大数据分析平台可以对学校情进行综合展示，将学校整体的消费、餐饮、就医、阅读等情况按各类人员分类统计，分析总体情况的规律和趋势．对学生和教师构建个人生活数字画像，多维度了解师生校园生活．同时可以在学生不在校预警和困难生校准等不同场景下给出应用解决方案．大数据使用人员可以无需精通复杂大数据分析技术，就可以直接通过平台搭建的Ｑｌｉｎｋ工具进行二次数据探索．数据汇集之后，为跨业务的数据多维分析提供了可能，通过对不同业务的数据关联分析并可视化展现，可以的到一些有价值的结果．２．３．１多个应用场景下的数据分析　一卡通消费分析：在校学生整体消费能力、消费偏好，为后勤部门了解学生餐饮、购物偏好有针对性的提升服务水平提供支撑．上网行为统计分析：将学生上网时长、流量进行分析，挖掘学生网络使用以及作息习惯；同时对学生上网内容进行深度挖掘，找到学生关注点．教学信息统计分析：呈现高校各院系开设课程统计和学生成绩统计分析、挂科率分析，全面呈现学生在校期间的学习与成绩分布，为指导高校课程开设、提高学生成绩提供支撑．　第Ｓ１期夏　杨等：基于一卡通数据的校园大数据分析平台的构建与应用１４９　图５　大数据分析平台功能 就业信息统计分析：从高校学生的毕业去向、就业单位、就业地区、就业行业等多维度进行统计分析，全面呈现就业情况，为高校就业办发现学生就业规律、有针对性的进行学生就业指导提供支撑．学生夜间上网、游戏与成绩关系分析：通过将学生夜间上网、游戏的情况与学生成绩相关联，可以看出我校本科平均分在７４～７５分之间，但是夜间上网学生和夜间游戏的学生的平均分普遍低于全校平均分，见图６与图７．图６　学生夜间上网、游戏与成绩关系３实践应用与效果将大数据形成的个人画像等分析结果应用于学生管理工作，对学生不在校管理和困难生评定提供了管理依据．３．１不在校预警结合我校学生管理实际情况，大数据分析中学生不在校定义为：在校生１５日内没有任何校园痕迹，包括门禁记录、一卡通消费、图书借阅、就医等方面．可以按月和日期统计出在校生中不在校学生情况（如图７所示），给出预警学生名单（如图８所示），并给出具体不在校学生的最后一次校内活动的情况（一卡通的门禁或者刷卡消费位置）如图９所示，不在校持续天数．１５０　华中师范大学学报（自然科学版）第Ｓ１期图７　不在校情况统计图８　不在校学生预警名单图９　不在校学生活动轨迹　第Ｓ１期夏　杨等：基于一卡通数据的校园大数据分析平台的构建与应用１５１３．２贫困生分析高校贫困生的评选是一个复杂而且明确的工作，好的评定方式能够更好的体现学校公平．利用一卡通数据和数据规则（例如：６点到１０点是早餐时间），将一卡通数据分裂成为就餐数据，上网数据，充值数据和购物数据．最终按照月度进行排名和归一．个人画像中的标签数据，行为数据可以作为预测在新的学年中学生是否是贫困生和其贫困生等级的依据．通过贫困生分析可以得出贫困生在校内各学院的分布情况，贫困生的日均、月均三餐消费情况和班级消费排名等．经验证，我校的贫困生认证人员均符合贫困资助标准，个人消费均远低于学生平均消费．４总结语高校教育信息涵盖从学生的饮食起居到老师科学研究的方方面面．所以业务系统繁多；但各部门和系统之间又因其业务独立性彼此并未过多关联起来，无法发挥数据的综合优势．从我校的信息系统建设和数据沉淀实际状况出发，构建了基于校园一卡通数据的大数据分析平台，整合了校内各相关业务系统，解决信息孤岛问题，实现数据共享；提升了数据质量，建立了一整套数据标准；创建的业务模型，实现高校学生工作综合管理，通过校情挖掘，建立数据关联关系，实现多维数据分析［４］．目前我校系统中数据依旧存在脏数据问题，如空值缺失值，异常值噪声数据，重复记录等情况，需要再次清洗．更多系统和管理数据的接入，需要为满足数据分析和挖掘的要求，对各系统数据源进行质量把控，并进一步完善数据标准．在大数据平台后续建设中，将结合学校管理决策层需求，建立以学生、老师、教学为主题的数据模型．教学主题从教育培养的角度将教学、科研、学生选课、成绩的数据接入到大数据平台［５］．师资分析从学科，年龄，学历和职称等方面分析我校师资状况，让我们清楚地看到学校的师资状况，为学校调整师资结构提升师资力量提供帮助．教学分析从学科，规划教材，精品课程以及研究生就业等方面分析我校教学状况，让学校能够清楚看到目前学校的教学状况，为推动学校教学工作的不断提升打下坚实基础．科研分析从学科，论文，项目等方面分析我校科研成果的状况［６］．同时逐步并入科研、高校学科评估和“双一流”建设等关乎高校发展的核心主题，为实现高校信息化建设目标提供了实践经验和实现方法．参考文献：［１］　蒋东兴，付小龙，袁　芳，等．大数据背景下的高校智慧校园建设探讨［Ｊ］．华东师范大学学报（自然科学版），２０１５，２０１５（ｓ１）：１１９－１２５．［２］　先晓兵，陈　凤．挖掘大学数据价值，提升科学管理水平［Ｃ］／／高等教育信息化创新应用案例集（第一辑）．北京：清华大学出版社，２０１４：１８８－２０９．［３］　高志鹏，牛　琨，刘　杰．面向大数据的分析技术［Ｊ］．北京邮电大学学报，２０１５，３８（３）：１－１２．［４］　先晓兵，陈　凤，王继元，等．基于大数据的高校学生管理工作研究与实践［Ｊ］．中国教育信息化．２０１５（１０）：６－９．［５］　罗军锋，徐　菲．大数据时代的高校信息化框架［Ｊ］．中国教育信息化，２０１４（３）：１１－１３．［６］　王海艳，曹丽英，邵喜武．大数据时代下的地方高校教育智库建设研究［Ｊ］．情报科学，２０１５（６）：７６－８０．Ｃｏｎｓｔｒｕｃｔｉｏｎ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｃａｍｐｕｓ　ｂｉｇｄａｔａ　ａｎａｌｙｓｉｓ　ｐｌａｔｆｏｒｍ　ｂａｓｅｄ　ｏｎ　ｃａｍｐｕｓ　ｃａｒｄ　ｄａｔａＸＩＡ　Ｙａｎｇ，ＷＡＮＧ　Ｆａｎｇ（Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｅｎｔｅｒ，Ｂｅｉｊｉｎｇ　Ｊｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００４４）Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ　ｏｎ　ａｎａｌｙｓｉｓ　ａｎｄ　ｍｉｎｉｎｇ　ｏｆ　ｄａｔａ　ａｃｃｕｍｕｌａｔｅ　ｉｎ　ｃａｍｐｕｓ　ｃａｒｄ　ｓｙｓｔｅｍ，ｔｈｅｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ　ｍｏｄｅｌ　ｉｓ　ｅｓｔａｂｌｉｓｈｅｄ　ａｌｏｎｇ　ｗｉｔｈ　ｓｔａｎｄａｒｄｓ　ａｎｄ　ｍａｎａｇｅｍｅｎｔ　ｏｆ　ｄａｔａ．Ａｕｎｉｆｉｅｄ，ｃｏｍｐｌｅｔｅ，ｉｎｔｅｌｌｉｇｅｎｔ，ｓａｆｅ　ａｎｄ　ｒｅｌｉａｂｌｅ　ｐｌａｔｆｏｒｍ　ｆｏｒ　ｃｏｍｐｒｅｈｅｎｓｉｖｅ　ｍａｎａｇｅｍｅｎｔａｎｄ　ｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ　ｏｆ　ｕｎｉｖｅｒｓｉｔｙ　ｂｉｇ　ｄａｔａ，ｐｒｏｖｉｄｉｎｇ　ｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ　ｂａｓｉｓ　ｆｏｒ　ｓｔｕｄｅｎｔｍａｎａｇｅｍｅｎｔ　ｗｏｒｋｅｒｓ　ａｎｄ　ｐｒｏｍｏｔｉｎｇ　ｓｔｕｄｅｎｔｓ ｍａｎａｇｅｍｅｎｔ　ａｎｄ　ｓｃｉｅｎｔｉｆｉｃ　ｄｅｃｉｓｉｏｎ－ｍａｋ－ｉｎｇ．Ｋｅｙ　ｗｏｒｄｓ：ｃａｍｐｕｓ　ｃａｒｄ；ｌａｒｇｅ　ｄａｔａ　ａｎａｌｙｓｉｓ　ｐｌａｔｆｏｒｍ；ｍｏｄｅｌｉｎｇ；ｄｅｃｉｓｉｏｎ。