大数据挖掘与应用 第2章 数据预处理技术
- 格式:ppt
- 大小:1.82 MB
- 文档页数:82


企业大数据分析挖掘及大数据BI工具应用实践
作者:乔冰琴 段全虎 高翠莲
来源:《会计之友》2021年第24期
【关键词】 大数据; BI工具; 贷款风险预测; 大数据处理流程; 企业大数据应用
【中图分类号】 F234 【文献标识码】 A 【文章编号】 1004-5937(2021)24-0131-07
一、引言
大数据的发展与应用已经深入人心,大数据在企业中的应用实践也不断地落地开花。王秋菲等[1]利用网络爬虫技术获取了亚太实业自2009—2016年间的相关数据,对这些数据进行挖掘分析,提取出能揭示公司财务是否存在舞弊行为的重要审计证据。张志恒等[2]基于大数据文本挖掘技术构建了审计数据分析框架,利用文本挖掘模型挖掘出审计疑点,为大数据审计提供审计证据和线索,从而提高审计质量。
随着企业信息化的进一步高速发展,数据来源更加多样化、数据体量更加巨大化、数据格式更加复杂化,这为企业应用大数据进行日常经营管理、分析和预决策带来了挑战。张红英等[3]分析了大数据时代财务分析面临的机遇与挑战,指出大数据时代财务分析面临的机遇有财务数据与非财务数据混搭、结构化数据与非结构化数据混搭、宏观数据与微观数据混搭,这些“混搭”为财务分析带来了广阔的数据“蓝海”,大数据技术为提高基于数据总体的企业财务决策提供了支持,使传统财务的阶段性报告转向动态实时报告;而大数据时代财务分析面临的挑战有信息安全、获得信息的成本以及信息处理人才。路伟果等[4]指出数据挖掘技术将重新定位会计人员和会计部门的角色、扩大会计确认的要素范围、更多地采用可视化技术解释数据以及企业将面临更大的信息安全风险;进一步指出会计人员要逐步转型为数据分析师和算法工程师、增强会计人员的数字素养和提高可视化管理能力、构筑信息安全防护体系等。乌婷等[5]指出,大数据对管理会计的思维、范围、方式及效果创新产生了深远影响,提炼出大数据时代下管理会计应具备的职业能力:思维创新能力、数据分析挖掘能力、IT应用能力及业务综合处理能力,为管理会计人员胜任大数据时代下的管理会计工作提出相应的建议。
第八章:大数据发展趋势
视频问题:
中国大数据发展前景1:大数据的本质是(洞察)
中国大数据发展前景2:大数据应用的主要领域是政府和商业领域。(是)
大数据发展趋势1:根据涂子沛先生所讲,大数据的本质是数据的价值在增加。(是)
大数据发展趋势2:云计算相当于储有海量信息的信息库,大数据相当于计算机和操作系统。(否)
人工智能与大数据1:首次提出“人工智能”是在1956年。(是)
人工智能与大数据2:人工智能应用研究的两个最重要最广泛领域为:专家系统与机器学习。(是)
在线考试:
1、机器学习就是通过算法,使得机器能从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。(是)
2、北京航空航天大学创办了国内第一个“大数据科学与应用”软件工程硕士专业。(是)
3、2011年,IBM的“沃森”超级计算机在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠。(是)
4、大数据预测能够分析和挖掘出人们不知道或没有注意到的模式,确定判断某件事情必然发生。 (否)
5、由于大数据处理多样性的需求,目前出现了多种典型的计算模式,包括大数据查询分析计算、批处理计算、流式计算、图计算等。 (是)
6、目前,我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证,系统之间缺乏统一的标准,形成了众多“信息孤岛”。 (是)
7、大数据成熟催化了人工智能的进步,深度学习带来算法上的突破则带来了人工智能浪潮。(是)
8、人工智能够和人一样进行感知、认知、决策、执行的人工程序或系统。(是)
9、2012年7月国务院发布的《“十二五”国家战略性新兴产业发展规划》中明确提出支持海量数据存储、处理技术的研发和产业化。(是)
10、知识图谱是一种基于图的数据结构,由节点和边组成。(是)
11、“数据结构”是指不存储数据库之中的,包括电子邮件、文本文件、图像、视频等数据。(否) 12、当前,企业提供的大数据解决方案大多基因Hadoop开源项目。(是)
本章热点专题训练
【知识与技能】
1.会计算加权平均数,理解“权”的意义,能选择适当的统计量表示数据的集中趋势;
2.会计算极差和方差,理解它们的统计意义,会用它们表示数据的波动情况.
【过程与方法】
在用样本的平均数、方差估计总体的平均数、方差过程中,进一步感受抽样的必要性,体会用样本估计总体的思想.
【情感态度】
从事采集、整理、描述和分析数据得出结论的统计活动,经历数据处理的基本过程,体验统计与生活的联系,感受统计在生产和生活中的作用,养成用数据说话的习惯和实事求是的科学态度.
【教学重点】
用样本的集中趋势和波动情况估计总体的集中趋势和波动情况.
【教学难点】
选择合适的统计量来反映具体问题中的数据特征.
一、知识框图,整体把握
二、释疑解惑,加深理解
1请归纳出平均数、中位数和众数这三种刻画数据集中趋势的统计量的意义和特征.
2算术平均数和加权平均数有什么区别和联系?举例说明加权平均数中“权”的意义.
3举例说明极差和方差是怎样刻画数据的波动情况的?
【教学说明】教师提出问题,让学生相互交流,并以小组为单位发言,师生共同分析,达到系统地回顾本章知识的目的.在相互交流中,锻炼合作交流的意义,提高分析问题解决问题的能力.
三、典例精析,复习新知
例1 如图所示,公园里有两条石阶路,哪条石阶路走起来更舒服?为什么?(图中数字表示每一级的高度,单位:cm)
【分析】这是一道生活中的实际问题,要判断哪条石阶路走起来舒服,就要联想到极差和方差,它们是衡量数据波动大小的依据.
解:图(1)的石阶路走起来较舒适.
∵图(1)的极差是16-14=2,图(2)的极差是19-10=9.
22221212235.33ssss又,,
所以图(1)的石阶路走起来较舒适.
【教学说明】本例的解答过程由学生自己完成,教师给予点评.
例2 在我市开展的“好书伴我成长”读书活动中,某中学为了解八年级300名学生读书情况,随机调查了八年级50名学生读书的册数,统计数据如下表:
1 / 11
《大数据挖掘及应用》课程教学大纲
一、 课程基本情况
表1 课程基本情况表
课程编号 A2040500 课程类别 ■必修 □ 选修 学时/学分 56/2.5
课程名称 (中文)大数据挖掘及应用
(英文)The Basic Principle of Data Mining
课程学时
及其分配 课内总学时 课内学时分配 课外学时分配
56 课堂讲课 40 课后复习
自学交流 课外自学
课堂讨论 讨论准备
实验辅导 实验预习
课内实验 16 课外实验
适用院系
适用专业
先修课程
预备知识 算法分析与设计
二、 课程简介(中英文版)
《大数据挖掘及应用》是计算机科学与技术院智能科学技术的必修课,是掌握数据分析能力的一门重要基础课程。本课程首先讲授了数据分析的基本知识概念、数据分析预处理的手段,接着从数据分析方法的角度,介绍了数据挖掘关联分析、分类以及聚类三大类算法的基本知识、必要理论基础以及一些经典的数据挖掘算法。
通过对本门课程的学习,学生能够系统地获得数据分析方法的基本概念和理论技术,掌握关联规则分析、分类和聚类等数据挖掘算法,从而使学生学会利用数据预处理和数据挖掘的技术去分析和解决不同行业应用领域中对数据进行处理和获取知识的问题,对培养学生形成良好的计算机科学技术和人工智能领域知识的运用能力有很大的帮助。
《大数据挖掘及应用》是计算机科学与技术学院智能科学与技术专业的必修课,是培养学生具备数据分析能力的重要专业课程。本课程教学内容涵盖了数据分析从特征提取,特征工程直至模型构建和可视化的全流程。具体包括数据分析的基本知识概念,各种不同数据分析预处理的手段,以及不同类型的经典数据分析方法,如数据分析的关联分析、无标签分析以及有标签分析三大类算法的基本知识和理论原理。和实际工程应用中的数据仓库基础知识介绍。
2 / 11
三、 课程目标
通过本课程的学习,使学生系统地获得数据挖掘基本知识和基本理论;本课程重点学习关联规则挖掘算法、分类和聚类算法,并注重培养学生熟练的编程能力和较强的抽象思维能力﹑逻辑推理能力﹑以及从海量数据中挖掘知识的能力,有助于学生能够利用相关算法去分析法和解决一些实际问题,为学习后续课程和进一步增强计算机编程能力奠定必要的算法基础.