基于大数据的高校学生分析与服务平台的研究

  • 格式:pdf
  • 大小:2.83 MB
  • 文档页数:6
Research on big data platform for college students analysis and service
SHI Minꎬ LU Dan ̄haiꎬ QIN Ting
( Xi’ an University of Posts & Telecommunicationsꎬ Xi’ an 710100ꎬChina)
外已有的高校学生管理大数据平台有奥斯汀创企的 Civitas Learning、Kickboard、北师大的学生潜在异常 行为分析平台等ꎬ这些平台旨在实现对学生分数、出 勤率、辍学率和保留率的精准预测ꎬ学生爱好的挖掘 以及学生逃课、失联、网络沉迷、过渡消费等行为的 分析ꎮ 但目该问题研究中存在的缺陷主要体现在功 能较 单 一、 数 据 处 理 效 率 低ꎮ 本 文 结 合 Hadoop、 Spark 等主流大数据技术的优势ꎬ旨在开发一套集学 生管理、分析评价、个性化服务为一体的高校学生综
0 引言
近年来ꎬ大数据技术因其成本低、速度快ꎬ能挖 掘大规模数据中的价值而成为推动各行各业发展的 新动力ꎮ 目前各高校的数字化、信息化建设已基本 完善ꎬ并逐步向智慧化演进ꎮ 建设包括了“ 学生管 理系统、教务管理系统、就业管理系统、图书管理系 统、一卡通消费系统、上网认证系统、校园 Wi ̄Fi” 等 等ꎬ积累了 海 量、 异 构 的 学 生 学 习、 生 活 信 息 数 据ꎮ 这为大数据理念与技术在高校学生管理领域的应用 推广奠定了基础ꎮ 构建高校学生分析与服务大数据 平台ꎬ对现有系统中海量的结构化与非结构化数据 进行采集、存储、挖掘分析以及结果的直观展现ꎬ已 成为高校校园智慧化建设的迫切需求ꎮ 目前ꎬ国内
收稿日期: 2018 - 09 - 21 基金项目: 陕西省教育厅自然科学专项(15JK1671) ꎻ西安邮电大学
研究生教育教学改革研究项目( YJGJ201627) 作者简介: 石敏(1982 - ) ꎬ女ꎬ硕士研究生ꎬ讲师ꎬ研究方向为大数
息的快速、精准 分析以及服务的实时提供ꎬ从而有效的提升高校学 生管理的科学化与精准化ꎮ
Abstract: An distributed big data platform associated with comprehensive analysis and information service is proposed in this paper. The big data platform based on Hadoop and spark technology which is capable of samplingꎬ storingꎬ analyzing and displaying the results from various massive and heterogeneous data. In additionꎬ the platform can provide users with such functions as student behavior portraitꎬ behavior trackꎬ course warningꎬ intelligent recommendation and so on. The system combines the data analysis and information service as an integration with high security and strong parallelization abilityꎬ further promoting the intellectualizationꎬ scientific decision ̄makingꎬ standardization of college student managementꎬ etc. Key words: Hadoopꎻ Sparkꎻ college student analysisꎻ big data
文章编号:1009 - 2552(2019)02 - 0005 - 06 DOI:10������ 13274 / j������ cnki������ hdzj������ 2019������ 02������ 002
基于大数据的高校学生分析与服务平台的研究
石 敏ꎬ 卢丹海ꎬ 秦 婷
( 西安邮电大学ꎬ 西安 710100)
摘 要: 采用 Hadoop 与 Spark 结合方式构建了一套分布式的学生综合分析与信息化服务大数据 平台ꎮ 平台对高校数字化建设中多源异构实时与非实时数据进行了采集、 分布式存储、 并行化 计算分析以及结果展示ꎬ 能提供学生行为画像、 行为轨迹、 课程预警、 智能推荐等服务ꎮ 系统 集分析与服务为一体、 安全性高、 并行化能力强ꎬ 提升了高校学生管理的智能化、 决策的科学 化和规范化ꎮ 关键词: Hadoopꎻ Sparkꎻ 高校学生分析ꎻ 大数据 中图分类号: TP393 文献标识码: A
1 Hadoop 与 Spark 等 大 数 据 技 术 的 介绍
海量数据的涌现使得传统的数据计算和数据存 储方式无法适应ꎬ近年来随着 Hadoop 的不断成熟 以及 Spark 技术的出现ꎬ解决了大数据面临的实际 应用问题ꎮ Hadoop 是一个用于处理大规模数据的 集分布式计算、存储和管理为一体的生态系统ꎬ其 核心 技 术 包 括 HDFS[1] 分 布 式 文 件 系 统、 MapRe ̄ duce 并行计算框架ꎮ 其中 HDFS 提供了大规模数 据高吞吐量的存储ꎬMapReduce 提供了分布式并行 化计算ꎬ具有自动并行、自然伸缩、实现简单和容错 性强等特性ꎬ并在数据抽取、转化和装载( ETL) 以 及离线数据的处理上具有优势[2] ꎮ Hadoop 生态系 统 中 还 包 括 Hbase、 Zookeeper、 Yarn 等 子 系 统ꎮ Hbase 是基于 Hadoop 的面向列存储的数据库ꎬ适用 于海量非结构化数据的存储ꎮ Zookeeper 为 Hadoop 集群提供协 调 服 务[3] ꎬ Yarn 负 责 集 群 资 源 的 管 理 和业 务 的 调 度[4] ꎮ 此 外ꎬ Hadoop 还 兼 容 Sqoop[5] 、 Flum[6] 等工具ꎮ Sqoop 是一个数据迁移工具ꎬ用于 在 MySQL、 Oracle 等 传 统 关 系 型 数 据 库 和 HDFSꎬ Hbase 之间进行数据的导入导出ꎬFlum 则提供了一 个高可用的ꎬ高可靠的ꎬ分布式的海量日志采集、聚 合和传输 的 系 统ꎬ 可 进 行 对 海 量 的 流 数 据 分 布 式 采集ꎮ