大数据相关理论与技术（1）
胡经国
一、用解构方法系统认知大数据
相关文献就“用解构方法系统认知大数据”进行了论述。现将其介绍于下，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改，并且添加了一些小标题，特此说明。
㈠、大数据结构的三个层面
大数据就是互联网发展到现阶段的一种表象或特征。在以云计算为代表的技术创新基础上，这些原本很难收集和使用的数据开始容易被利用起来。通过各行各业的不断创新，大数据将逐步为人类创造更多的价值。
然而，想要系统认知大数据，必须用解构方法全面细致地解析它结构。为此，现从大数据结构的三个层面来系统认知大数据。
1、理论（Theory）层面
大数据结构的第一层面是理论。理论是认知的必经途径，也是被广泛认同和传播的基线。理论层面包括以下4个方面：
⑴、特征定义
从大数据的特征定义来理解IT行业对大数据的整体描绘和定性。
⑵、价值探讨
从对大数据的价值探讨来深入解析大数据的珍贵所在。
⑶、现在和未来
从大数据的现在和未来来洞察大数据的发展趋势。
⑷、大数据与隐私
从大数据与隐私这个特别而重要的视角来审视人和数据之间的长久博弈。
2、技术（Technology）层面
大数据结构的第二层面是技术。技术是大数据价值体现的手段和发展的基石。技术层面包括以下4个方面：云计算、分布式处理技术、存储技术和感知技术。也就是说，要分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
3、实践（Utilization）层面
大数据结构的第三层面是实践。实践是大数据价值的最终体现。实践层面
包括以下4个方面：互联网的大数据，政府的大数据，企业的大数据和个人的大数据。也就是说，要分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象和即将实现的蓝图。
㈡、大数据相关理论
1、特征定义
最早提出“大数据时代到来”的是麦肯锡。他指出：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”
⑴、大数据的“4V”特征
IT业界将大数据的特征归纳为“4V”（数量Volume，多样Variety，价值Value，速度Velocity）。或者说，大数据的特征有以下4个方面：
①、数据体量巨大
大数据的起始计量单位至少是PB（1024TB）、EB（100万TB）或ZB （10亿TB）。
②、数据类型繁多
比如，网络日志、音频、视频、图片、地理位置信息等等。
③、价值密度低而商业价值高
④、处理速度快
这一点也与传统的数据挖掘技术有着本质的不同。
其实，这“4V”并不能真正说清楚大数据的所有特征。
⑵、大数据思维
有一种说法：三分技术，七分数据，得数据者得天下。这句话的正确性已经不用再去论证了。维克托·迈尔·舍恩伯格在《大数据时代》一书中举了不少例证，都是为了说明一个道理：在大数据时代，要用大数据思维去发掘大数据的潜在价值。
那么，什么是大数据思维？维克托·迈尔·舍恩伯格认为，①、需要全部数据样本而不是抽样；②、关注效率而不是精确度；③、关注相关性而不是因果关系。
⑶、关于大数据的独到见解
有关专家对于大数据有一些独到的见解。比如，“今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。”“非互联网时期的产品功能一定是它的价值；互联网时期的产品数据一定是它的价值。”“你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。”大数据的真正价值在于创造，在于填补无数个还未实现过
的空白。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等种类；而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。大数据的价值含量和挖掘成本，比其数量更为重要。
2、价值探讨
⑴、大数据是资产
大数据是什么？在投资者的眼里，大数据是资产。比如，当Facebook上市时，在评估机构评定的有效资产中，大部分都是其社交网站上的数据。如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
再如，美国Target（塔吉特公司）超市以孕妇怀孕期间可能会购买的20多种商品为基础，将所有用户的购买记录作为数据来源；通过构建模型分析购买者的行为相关性，能准确地推断出孕妇的具体临盆时间。这样，Target的销售部门就可以有针对性地在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。
这个Target的例子是一个很典型的案例。它印证了维克托·迈尔·舍恩伯格提过的一个很有指导意义的观点：通过找出一个关联物并监控它，就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期，这就是对数据的二次利用的典型案例。如果我们通过采集驾驶员手机的GPS（卫星定位系统）数据，那么就可以分析出当前哪些道路正在堵车，并且可以及时发布道路交通状况提醒；如果通过采集汽车的GPS位置数据，那么就可以分析城市的哪些区域停车较多，这也代表该区域有着较为活跃的人群。这些分析数据适合卖给广告投放商。
⑵、基于大数据形成决策的模式
不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
从大数据的价值链条来分析，基于大数据形成决策具有以下三种模式：
①、手握大数据，但是没有利用好
比较典型的是金融机构、电信行业、政府机构等。
②、没有数据，但是知道如何帮助有数据的人利用它
比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。
③、既有数据，又有大数据思维
比较典型的是Google，Amazon，Mastercard等。
⑶、大数据领域最具有价值的两种事物
未来在大数据领域最具有价值的两种事物是：
①、拥有大数据思维的人
这种人可以将大数据的潜在价值转化为实际利益。
②、还没有被大数据触及过的业务领域
这些业务领域是还没有被“挖掘”的“油井”、“金矿”，是所谓的“蓝海”。
例如，Wal-Mart（沃尔玛）作为零售行业的巨头，其分析人员会对每个阶段的销售记录进行全面分析。有一次他们在无意中发现，虽然不相关但是很有价值的数据。在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。于是，他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边。看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。
还有一个有趣的例子。1948年辽沈战役期间，司令员林彪要求每天要进行例常的“每日军情汇报”，由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据：每支部队歼敌多少、俘虏多少；缴获的火炮、车辆、枪支、物资多少等等。有一天，参谋照例汇报当日的战况，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗？”大家都很茫然，因为这样的战斗每天都有几十起，不都是差不多一模一样的枯燥数字吗？林彪扫视一周，见无人回答，便接连问了三句：“为什么那里缴获的短枪与长枪的比例比其它战斗略高？”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高？”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高？”林彪司令员大步走向挂满军用地图的墙壁，指着地图上的那个点说：“我猜想，不，我断定敌人的指挥所就在这里！”果然，部队很快就抓住了敌方的指挥官廖耀湘，并且取得了这场重要战役的胜利。
这些例子真实地反映在各行各业。探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。
3、现在和未来
⑴、大数据的杰出表现
让我们先看看大数据在当下有怎样的杰出表现：
大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；
大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；
大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；
大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；
大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；
大数据帮助企业提升营销针对性，降低物流和库存成本，减少投资风险，以及帮助企业提升广告投放精准度；
大数据帮助娱乐行业预测歌手、歌曲、电影、电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；
大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。
⑵、大数据变革浪潮将席卷全球
其实，这些还远远不够。未来大数据的身影应该无处不在。就算无法准确预测大数据终会将人类社会带往哪种最终形态，但是可以相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快席卷全球。
比如，Amazon的最终期望是：“最成功的书籍推荐应该只有一本书，那就是用户要买的下一本书。”
Google也希望当用户在搜索时，最好的体验是搜索结果只包含用户所需要的内容，而这并不需要用户给予Google太多的提示。
而当物联网发展到一定规模时，借助条形码、二维码、RFID（Radio Frequency Identification，射频识别）等能够唯一标识产品；传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析。这些数据能够支撑智慧城市、智慧交通、智慧能源、智慧医疗、智慧环保的理念需要。这些所谓的“智慧”，将是大数据的采集数据来源和服务范围。
⑶、以人为本的大数据方针
未来的大数据除了将更好地解决社会问题、商业营销问题和科学技术问题以外，还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。
比如，建立个人的数据中心，纪录每个人的日常生活习惯、身体体征、社会网络、知识能力、爱好性情、疾病嗜好、情绪波动……换言之，就是记录人从出生那一刻起的每一分每一秒，将除了思维以外的一切都记录和储存下来。这些数据可以被充分地利用于以下诸多方面：
医疗机构将实时地监测用户的身体健康状况；
教育机构更有针对性地制定用户喜欢的教育培训计划；
服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务；
社交网络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活动；
政府能在用户的心理健康出现问题时有效地进行干预，防范自杀、刑事案件的发生；
金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划；
道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排；如此等等。
当然，虽然上面的一切看起来都很美好，但是是否以牺牲用户的自由为前提呢？只能说，在新鲜事物带来革新的同时，也同样带来了“病菌”。比如，在手机普及以前，大家喜欢聚在一起聊天。自从手机普及以后，特别是有了互联网，大家不用聚在一起也可以随时随地聊天，只是“病菌”滋生了。就是另外一种情形产生了：大家慢慢习惯于和手机共渡时光，人与人之间的情感交流仿佛永远隔着一张“网”。
4、大数据与隐私
⑴、隐私是大数据应用难以绕开的话题
你或许并不敏感，当你在不同网站上注册个人信息以后，可能这些信息已经被扩散出去。当你莫名其妙地受到各种邮件、电话、短信的滋扰时，你不会想到自己的电话号码、邮箱、生日、购买记录、收入水平、家庭住址、亲朋好友等私人信息，早就被某些商业机构非法存储或贱卖给其它任何有需要的企业或个人了。更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。所以，用户隐私一直是大数据应用一个难以绕开的话题。
⑵、没有专门的隐私法律法规
目前，中国并没有专门的法律法规来界定用户隐私，在处理相关问题时多采用其他相关法规条例来解释。但是，随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。
说到隐私被侵犯，爱德华·斯诺登应该占据一席之地。这位前美国中央情报局（CIA）雇员一手曝光了美国“棱镜计划”（PRISM）的内幕消息。“棱镜”项目是一项由美国国家安全局（NSA）自2007年起开始实施的绝密电子监听计划，年耗资近2000亿美元，用于监听全美电话通话记录。据称，还可以使情报人员通过“后门”进入9家主要科技公司的服务器。这个事件引发了人们对有关政府使用大数据时对公民隐私侵犯的担心。
再看看我们身边。当微博、微信、QQ这些社交平台肆意吞噬着数亿用户的各种信息时，你就不要指望你还有隐私权了。就算你在某个地方删除了，但是也许这些信息已经被其他人转载或保存，更有可能已经被某些互联网公司存为快照，早就被提供给任意用户搜索了。
因此，在大数据背景下，很多人都在积极抵制无底线的数字化。这种大数据和个人隐私之间的矛盾还将一直存在下去。
⑶、保护大数据背景下隐私权的专家建议
专家给予了我们一些如何有效保护大数据背景下隐私权的建议：
①、减少信息的数字化；
②、隐私权立法；
③、数字隐私权基础设施，类似DRM（数字版权管理）；
④、人类改变认知（接受、忽略过去）；
⑤、创造良性的信息生态；
⑥、语境化。
但是，这些建议都很难立即见效，或者很难有实质性的改善。
比如，现在有一种职业叫做“删帖人”，专门负责帮人到各大网站删帖和删除评论。这些人通过黑客技术侵入各大网站，破获网站管理员的密码，然后进行手工定向删除。只不过他们保护的不是客户的隐私，而保护的大多是某些人的丑闻。
还有一种职业叫做“人肉专家”。他们负责从互联网上找到一个与他们根本就无关系的用户的任意信息。这是一件很可怕的事情。因为，如果有人想找到你，那么只需要两个条件：①、你上过网，留下过痕迹；②、你的亲朋好友或仅仅是认识你的人上过网，留下过你的痕迹。这两个条件满足其一，人肉专家就可以很轻松地找到你，而且可能还知道你现在正在某个餐厅和谁一起共进晚餐。
当很多互联网企业意识到隐私对于用户的重要性时，为了继续得到用户的信任，他们也采取了很多办法。比如，有的互联网企业承诺仅保留用户的搜索记录9个月；浏览器厂商提供了无痕冲浪模式；社交网站拒绝公共搜索引擎的“爬虫”进入，并将提供出去的数据全部采取匿名方式处理等。
在这种复杂的网络环境里面，很多人依然没有树立起对于信息隐私的保护意识，而让自己一直处于被滋扰，被精心设计，被利用，被监视的处境之中。可是，为此我们能做的事几乎微乎其微。因为，个人隐私数据已经无法由自己掌控了。
2016年5月30日编写于重庆
2019年11月3日修改于重庆
大数据 目录 一、大数据概念 (1) 二、大数据分析 (2) 三、大数据技术 (3) 四、大数据特点 (4) 五、大数据处理 (4) 六、大数据应用与案例分析 (6) 一、大数据概念 "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"
指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 二、大数据分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 1、可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了 2、数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，
大数据技术原理与应用第四章课后作业 黎狸 1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。 HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。 2.请阐述HBase和BigTable的底层技术的对应关系。 3.请阐述HBase和传统关系数据库的区别。 4.HBase有哪些类型的访问接口？ HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。 5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。 ①行键标识行。行键可以是任意字符串，行键保存为字节数组。 ②列族。HBase的基本的访问控制单元，需在表创建时就定义好。 ③时间戳。每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索 引。 7.请举个实例来阐述HBase的概念视图和物理视图的不同。 8.试述HBase各功能组件及其作用。 ①库函数：链接到每个客户端； ②一个Master主服务器：主服务器Master主要负责表和Region的管理工作； ③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和 维护分配给自己的Region，并响应用户的读写请求
大数据技术原理与应用-林子雨版-课后习 题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
摘要：大数据专业人才的培养是世界各国新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段。首先剖析了大数据课程建设的难点，然后介绍了厦门大学建设的大数据课程体系，包括入门级课程、进阶级课程和实训课程，最后分享了大数据技术原理与应用课程建设的经验与方法，包括课程定位、培养目标、预备知识、大数据与云计算课程之间的知识切割、课程内容与学时安排、课程教材、实验环境搭建、配套资源建设、在线服务平台、线下培训与交流等。 关键词：课程体系；MOOC；公共服务平台 1 引言 大数据带来了信息技术的巨大变革，对社会生产和人们生活的各个领域都产生着深刻的影响，所到之处，或是颠覆，或是提升，让人们深切感受到了大数据实实在在的威力。对于一个国家而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用并参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格局。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为信息相关专业的重要核心课程。北京大学、厦门大学、中国人民大学等一批高校在国内率先开设大数据课程。2016年，北京大学、中南大学、对外经贸大学3所高校成为国内首批获得教育部批准设立“数据科学与大数据技术”专业的本科院校，此后，教育部又于2017年和2018年分别批准32所和248所本科院校设立数据科学与大数据技术专业。与此同时，根据教育部公布的“大数据技术与应用”专业
备案和审批结果显示，截至目前，已经有累计208所职业院校获批“大数据技术与应用”专业。“数据科学与大数据技术”专业和“大数据技术与应用”专业一般被统称为“大数据专业”。随着大数据专业在国内众多高校中开设，大数据专业人才的培养迈入了全新的阶段。 大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段，没有太多可供借鉴的现成经验，需要一大批热爱教学的高校教师积极投身课程体系和教材的建设工作中，共同推动全国高校大数据教学工作不断向前发展。厦门大学数据库实验室作为国内高校较早从事大数据教学资源建设的团队，从2013年开始，在大数据课程建设方面开展了很多有意义的尝试和探索，本文将分享笔者团队在这些方面的工作成果和经验做法。 2 大数据课程建设的难点 大数据专业课程涵盖范围较广，从学科角度而言，包括了数学（高等数学、线性代数、离散数学、数学建模等）、计算机（算法、数据结构、程序设计、数据库、操作系统、数据挖掘等）、统计（概率论与数理统计、多元统计分析等）等多学科知识。从数据分析流程角度而言，大数据专业课程包含了数据分析全流程的各种技术，包括数据采集、数据存储与管理、数据处理与分析、数据可视化等各个环节的技术。 本文探讨的大数据课程是指数据分析全流程涉及的大数据技术类课程。需要强调指出的是，在这些大数据技术类课程中，并非所有课程都是大数据时代新生的课程，比如，数据采集课程主要讲解网络爬虫技术，这些技术在大数据时代到来之前就已经存在很多年了，并非到了大数据时代才诞生。同理，数据可视化也是经历了多年发展的“老课程”，知识内容并没有因为大数据的出现而发生本质的变化。实际上，大数据技术之所以受到热捧，主要在于以Hadoop和Spark为代表的分布式框架解决了以较低的成本实现海量数据的存储和计算的
大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，不管什么，都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 一、基本概念 在讲什么是大数据之前，我们首先需要厘清几个基本概念。 1.数据 关于数据的定义，大概没有一个权威版本。为方便，此处使用一个简单的工作定义:数据是可以获取和存储的信息。 直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。
不过数值是所有数据中最容易被处理的一种，许多和数据相关的概念，例如下面的数据可视化和数据分析，最早是立足于数值数据的。 传统意义上的数据一词，尤其是相对于今天的“大数据”的“小数据”,主要指的就是数值数据，甚至在很多情况下专指统计数值数据。这些数值数据用来描述某种客观事物的属性。 2.数据可视化 对应英语的data visulization(或可译为数据展示)，指通过图表将若干数字以直观的方式呈现给读者。比如非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。 3.数据分析 这一概念狭义上，指统计分析，即通过统计学手段，从数据中精炼对现实的描述。例如:针对以关系型数据库中以table形式存储的数据，按照某些指定的列进行分组，然后计算不同组的均值、方差、分布等。再以可视化的方式讲这些计算结果呈现出来。目前很多文章中提及的数据分析，其实是包括数据可视化的。
【最新整理，下载后即可编辑】 第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据的概念、技术及应用1 概述 1.1 大数据的概念和特点 1.1.1 大数据的基础 1.1.2 大数据如何“与时俱进”？ 1.1.3 大数据发展趋势 人工智能 物联网结合 各个行业的深入 1.2 大数据的技术基础 1.2.1 从数据仓库开始 1.2.2 HADOOP 生态圈 1.2.3 与云计算的关系 1.2.4 数据运维能力提升 1.3 大数据的应用举例 1.3.1 大数据提升客户分析能力 1.3.2 大数据提升产品分析能力 1.3.3 大数据提升管理水平 1.3.4 大数据提升各行业“智慧” 1.4 大数据下的人工智能（AI） 1.4.1 什么是人工智能
1.4.2 人工智能改变哪些行业？ 1.4.3 大数据下的人工智能有何不同？ 1.4.4 人工智能的“颠覆” 1.5 大数据如何精细化管理 1.5.1 量化管理的引出 1.5.2 大数据如何提升“量化”的维度和深度1.5.3 从艺术到技术 1.5.4 自动驾驶到自动管理？ 1.6 电信企业的大数据“商机” 1.6.1 从网络运营到数据运营 1.6.2 提炼“内功” 1.6.3 提升外部管理能力 1.6.4 扩展增值产品运营市场 2 大数据的行业解决方案应用案例 2.1 基础应用范围 2.2 石油行业应用案例 2.3 交通行业应用案例 2.4 旅游行业应用案例 2.5 金融行业应用案例 2.6 电信行业应用案例 2.7 互联网行业应用案例等
3 大数据技术基础 3.1 从数据仓库开始 3.1.1 数据仓库的“集中” 3.1.2 数据仓库的模型标准化3.1.3 大数据的演进 3.2 HADOOP 生态圈 3.2.1 开源社区概述 3.2.2 开源改变了什么？3.2.3 HADOOP 生态圈内容3.2.4 HADOOP 的技术原则3.2.5 HADOOP 的运维3.3 HADOOP 基础 3.3.1 HDFS 的原理 3.3.2 MAP/REDUCE 原理3.3.3 YARN 原理 3.4 HIVE/HBASE 技术 3.4.1 HIVE 的原理 3.4.2 HBASE 的原理 3.4.3 两者的关系 3.5 SPARK 技术 3.5.1 基本原理
大数据概念 大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety （多样）、Value（价值）、Veracity（真实性）。 应用学科:计算机，信息科学，统计学 适用领域范围: BI，工业4.0，云计算，物联网，互联网+, 人工智能 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 意义 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。 有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。 大数据的价值体现在以下几个方面： 1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 2) 做小而美模式的中长尾企业可以利用大数据做服务转型 3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
林子雨大数据技术原理及应用课后题答案 大数据第一章大数据概述课后题 (1) 大数据第二章大数据处理架构Hadoop课后题 (5) 大数据第三章Hadoop分布式文件系统课后题 (10) 大数据第四章分布式数据库HBase课后题 (16) 大数据第五章NoSQl数据库课后题 (22) 大数据第六章云数据库课后作题 (28) 大数据第七章MapReduce课后题 (34) 大数据第八章流计算课后题 (41) 大数据第九章图计算课后题 (50) 大数据第十章数据可视化课后题 (53) 大数据第一章课后题 ——大数据概述 1.试述信息技术发展史上的3次信息化浪潮及其具体内容。 第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。 第二次信息化浪潮1995年前后进入互联网时代。代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。 第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。 2.试述数据产生方式经历的几个阶段。 经历了三个阶段: 运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。 用户原创内容阶段Web2.0时代。 感知式系统阶段物联网中的设备每时每刻自动产生大量数据。 3.试述大数据的4个基本特征。
数据量大（Volume） 据类型繁多（Variety） 处理速度快（Velocity） 价值密度低（Value） 4.试述大数据时代的“数据爆炸”特性。 大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。 5.科学研究经历了那四个阶段？ 实验比萨斜塔实验 理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。例如：牛一，牛二，牛三定律。 计算设计算法并编写相应程序输入计算机运行。 数据以数据为中心，从数据中发现问题解决问题。 6.试述大数据对思维方式的重要影响。 全样而非抽样 效率而非精确 相关而非因果 7.大数据决策与传统的基于数据仓库的决策有什么区别？ 数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。 大数据决策面向类型繁多的，非结构化的海量数据进行决策分析。 8.举例说明大数据的具体应用。 汽车行业大数据和物联网技术无人汽车
考试：大数据概述及基本概念 试卷年份：2015年 题量：10题 答题时间：分钟 总分：100分 合格线：60分 1 【单选】下列不属于商业大数据类型的是（） A. 传统企业数据 B. 机器和传感器数据 C. 社交数据 D. 电子商务数据 A B C D 正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等的技术。凡涉及到这些过程和技术的工作部门，都可称作（）部门 A. 技术 B. 研究 C. 信息 D. 管理 A B C D 正确答案：C 3 【单选】数据本身所承载的信息内容是指（） A. 内容维度 B. 关系维度 C. 时空维度 D. 维度的交叉综合 A B
C D 正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（） A. 数据交易技术 B. 数据交互技术 C. 数据存储技术 D. 数据处理技术 A B C D 正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（） A. 结构化信息 B. 非结构化信息 C. 半结构化信息 D. 特殊化信息 A B C D 正确答案：A B C 6 【多选】“大数据”的特点是（） A. 数据体量大 B. 数据类别大 C. 数据处理速度快 D. 数据真实性高 A B C D 正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（）
A. 正确 B. 错误 正确 错误 正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（） A. 正确 B. 错误 正确 错误 正确答案：正确 9 【判断】可视化是给机器看的，数据挖掘就是给人看的（） A. 正确 B. 错误 正确 错误 正确答案：错误 10 【判断】全球数据的90%产生于过去2年内（） A. 正确 B. 错误 正确 错误 正确答案：正确
第一章 单选题 1、下列选项中，最早提出“大数据”这一概念的是（）。 ?A、贝恩 ?B、麦肯锡 ?C、吉拉德 ?D、杰弗逊 参考答案: B 答案解析: 暂无解析 2、下列选项中，哪一项是研究大数据最重要的意义（）。 ?A、分析 ?B、统计 ?C、测试 ?D、预测 参考答案: D 答案解析: 研究大数据，最重要的意义是预测。 3、Hadoop1.0中，Hadoop内核的主要组成是（）。 ?A、HDFS和MapReduce ?B、HDFS和Yarn ?C、Yarn ?D、MapReduce和Yarn 参考答案: A 答案解析: Hadoop1.0中，Hadoop内核的主要是由HDFS和MapReduce两个系统组成。 4、在HDFS中，用于保存数据的节点是（）。
?B、datanode ?C、secondaryNode ?D、yarn 参考答案: B 答案解析: 暂无解析 多选题 1、下列选项中，属于Google提出的处理大数据的技术手段有（）。 ?A、MapReduce ?B、MySQL ?C、BigTable ?D、GFS 参考答案: A,C,D 答案解析: Google提出了三个处理大数据的技术手段，分别是MapReduce、BigTable和G FS。 2、下列选项中，属于Hadoop优势的有（）。 ?A、扩容能力强 ?B、可靠性 ?C、低效率 ?D、高容错性 参考答案: A,B,D 答案解析: Hadoop具有扩展能力强、成本低、高效率、可靠性、高容错性的优势。 3、下列选项中，属于Hadoop版本系列的有（）。 ?A、Hadoop4 ?B、Hadoop2 ?C、Hadoop1
大数据技术原理及应用 (总10页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面，使用请直接删除
大数据技术原理及应用 大数据处理架构—Hadoop简介 Hadoop项目包括了很多子项目，结构如下图 Common 原名：Core，包含HDFS, MapReduce和其他公共项目，从Hadoop 版本后，HDFS和MapReduce分离出去，其余部分内容构成Hadoop Common。Common为其他子项目提供支持的常用工具，主要包括文件系统、RPC(Remote procedure call) 和串行化库。 Avro Avro是用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。其中，代码生成器既不需要读写文件数据，也不需要使用或实现RPC协议，它只是一个可选的对静态类型语言的实现。Avro系统依赖于模式（Schema），Avro数据的读和写是在模式之下完成的。这样就可以减少写入数据的开销，提高序列化的速度并缩减其大小。 Avro 可以将数据结构或对象转化成便于存储和传输的格式，节约数据存储空间和网络传输带宽，Hadoop 的其他子项目（如HBase和Hive）的客户端和服务端之间的数据传输。 HDFS HDFS：是一个分布式文件系统，为Hadoop项目两大核心之一，是Google file system（GFS）的开源实现。由于HDFS具有高容错性（fault-tolerant）的特点，所以可以设计部署在低廉（low-cost）的硬件上。它可以通过提供高吞吐率（high throughput）来访问应用程序的数据，适合那些有着超大数据集的应
大数据的概念、算法及应用 一、大数据基本概念 大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。 大数据的预处理 主要完成对已接收数据的辨析、抽取、清洗等操作。 (1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 (2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 大数据带来的数学问题 在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的所有数据集都是有限集合。 ?大数据采样——把大数据变小、找到与算法相适应的极小样本集、采样对算法误差的影响 ?大数据表示——表示决定存储、表示影响算法效率 ?大数据不一致问题——导致算法失效和无解、如何消解不一致 ?大数据中的超高维问题——超高维导致数据稀疏、算法复杂度增加 ?大数据中的不确定维问题——多维度数据并存、按任务定维难 ?大数据中的不适定性问题——高维导致问题的解太多难以抉择 大数据的特征 ?稠密与稀疏共存：局部稠密与全局稀疏 ?冗余与缺失并在：大量冗余与局部缺失 ?显式与隐式均有：大量显式与丰富隐式 ?静态与动态忽现：动态演进与静态关联 ?多元与异质共处：多元多变与异质异性 ?量大与可用矛盾：量大低值与可用稀少 目前大数据的外延 大数据规模大小是一个不断演化的指标： 当前任务处理的单一的数据集,从数十TB到十几PB级的数据规模(TB?PB?EB?ZB) 处理大数据的可等待的合理时间依赖任务的目标： 地震数据预测要求在几分钟内才有效、气象数据应该在小时级别、失联飞机数据处理要在7天之内、数据挖掘一般要求在12小时内 回到顶部 二、大数据悖论 大数据已被定义为科学探索的第四范式。继几千年前的实验科学、数百年前的理论科学和数十年前的计算科学之后，当今的数据爆炸孕育了数据密集型科学，将理论、实验和计算仿真等范式统一起来。大数据已被誉为“非竞争性”生产要素。大数据具有“取之不尽，用之不竭”的特性，在不断的再利用、重组和扩展中持续释放其潜在价值，在广泛的公开、共享中不断创造着新的财富。根源在于，大数据的价值在于预测未知领域、非特定因素的未来趋势，在于破解长期的、普遍的社会难题。而目前的大数据技术和应用，依然局限于历史和实时数据的关联分析，局限于满足短线的、特定的市场需求。解决悖论的过程，恰恰是理论和方法
大数据概念、技术及应用 ——段方老师 1 概述 1.1 大数据的概念和特点 1.1.1 大数据的基础 1.1.2 大数据如何“与时俱进”？ 1.1.3 大数据发展趋势 人工智能 物联网结合 各个行业的深入 1.2 大数据的技术基础 1.2.1 从数据仓库开始 1.2.2 HADOOP 生态圈 1.2.3 与云计算的关系 1.2.4 数据运维能力提升 1.3 大数据的应用举例 1.3.1 大数据提升客户分析能力 1.3.2 大数据提升产品分析能力 1.3.3 大数据提升管理水平
1.3.4 大数据提升各行业“智慧” 1.4 大数据下的人工智能（AI） 1.4.1 什么是人工智能 1.4.2 人工智能改变哪些行业？ 1.4.3 大数据下的人工智能有何不同？ 1.4.4 人工智能的“颠覆” 1.5 大数据如何精细化管理 1.5.1 量化管理的引出 1.5.2 大数据如何提升“量化”的维度和深度1.5.3 从艺术到技术 1.5.4 自动驾驶到自动管理？ 1.6 电信企业的大数据“商机” 1.6.1 从网络运营到数据运营 1.6.2 提炼“内功” 1.6.3 提升外部管理能力 1.6.4 扩展增值产品运营市场 2 大数据的行业解决方案应用案例 2.1 基础应用范围 2.2 石油行业应用案例 2.3 交通行业应用案例 2.4 旅游行业应用案例
2.5 金融行业应用案例 2.6 电信行业应用案例 2.7 互联网行业应用案例等 3 机器学习基础 3.1 多维分析方法 3.1.1 OLAP 分析 3.1.2 上钻和下钻 3.1.3 用OLAP 分析问题 3.2 分析算法 3.2.1 回归算法 线性回归 逻辑回归 3.2.2 决策树算法 C4.5 算法 CART 算法 3.2.3 贝叶斯算法 朴素贝叶斯算法 BBN（Bayesian Belief Network）算法 3.2.4 基于核的算法 支持向量机SVM 算法 线性判别分析(Linear Discriminate Analysis ，LDA)
马建光等：大数据的概念、特征及其应用 (2013-09-05 16:15:35) 转载▼ 分类：学习资料 标签： 杂谈 大数据的概念、特征及其应用 马建光，姜巍 (国防科技大学人文与社会科学学院，湖南长沙410074) 源自：国防科技2013年4月 ［摘要］随着互联网的飞速发展，特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用，以数量庞大，种类众多，时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显，传统的数据存储、分析技术难以实时处理大量的非结构化信息，大数据的概念应运而生。如何获取、聚集、分析大数据成为广泛关注的热点问题。介绍大数据的概念与特点，分别讨论大数据的典型的特征，分析大数据要解决的相关性分析、实时处理等核心问题，最后讨论大数据可能要面临的多种挑战。 ［关键词］大数据; 非结构化信息; 解决核心问题; 未来挑战 一、引言 自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。工业革命以来，人类更加注重数据的作用，不同的行业先后确定了数据标准，并积累了大量的结构化数据，计算机和网络的兴起，大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。而近年来，随着互联网的快速发展，音频、文字、图片视频等半结构化、非结构化数据大量涌现，社交网络、物联网、云计算广泛应用，使得个人可以更加准确快捷的发布、获取数据。在科学研究、互联网应用、电子商务等诸多应用领域，数据规模、数据种类正在以极快的速度增长，大数据时代已悄然降临。 首先，全球数据量出现爆炸式增长，数据成了当今社会增长最快的资源之一。根据国际数据公司IDC 的监测统计［1］，即使在遭遇金融危机的2009 年，全球信息量也比2008 年增长了62%，达到80 万PB ( 1PB 等于10亿GB) ，到2011 年全球数据总量已经达到1. 8ZB ( 1ZB 等于1 万亿GB，) ，并且以每两年翻一番的速度飞速增长，预计到2020 年全球数据量总量将达到40 ZB，10年间增长20 倍以上，到2020 年，地球上人均数据预计将达5247GB。在数据规模急剧增长的同时，数据类型也越来越复杂，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务，与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题，得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。2012 年3 月22 日，奥巴马宣布美国政府五大部门投资2 亿美元启动“大数据研究和发展计划( Big Data Research and Development Initiative) ”［2］，欲大力推
大数据概念 研究机构Gartner—大数据概念 "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能 力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无 法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学 家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数 据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪
些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开 源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 大数据分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。 大数据技术
一.大数据的概念 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法[2]）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 二.大数据的相关技术 1．大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。 2．大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项， 因此要对数据通过过滤“去噪”从而提取出有效数据。 3．大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化，半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据
大数据 (big data,mega data)，或称巨量，指的是需要新处理模式才能具有更强的决策资料大数据力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 第一，数据体量巨大。从TB级别，跃升到PB级别。 第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。 第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、、移动、、手机、、PC以及遍布地球各个角落的各种各平板电脑车联网互联网云计算样的，无一不是数据来源或者承载的方式。传感器大数据最核心的价值就是在于对于海量数据进行存储和分析。 大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一关系型数据库起，因为 实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。 大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式，分布式数据库，文件系统云计算 平台，互联网，和可扩展的存储系统，但不是所有的MPP的的PB的数据关系数据库存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。 SOA管理大数据SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取的模型描述了数据是如何提供给SOA组件的。物理模型描 述了数据是如何存储的以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。 从大数据的价值链条来分析，存在三种模式： 1- 手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。 2- 没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。 3- 既有数据，又有大数据思维；比较典型的是Google，Amazon，Mastercard等。 未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。． 分布式处理那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，NoSQL、实时流数据处理、智能分析技术（类似模式识技术，海量数据的存储和管理技术，别以及自然语言理解）等。 云计算和大数据之间的关系可以用下面的一张图来说明，两者之间结合后会产生如下效应：可以提供更多基于海量业务数据的创新型服务；通过云计算技术的不断发展降低大数据业务的创新成本。