云计算与大数据分析

大数据与云计算

在IT业界，有人把大数据产业定义为：“建立在对互联网、物联网等渠道广泛大量数

据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”，或者如IT巨头概括大数据战略为：“致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力，包括之前隐藏在非结构化数据中的洞察力”。“总之是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。微软公司全球资深副总裁、微软亚太研发集团主席张亚勤博士接受记者采访时说。

虽然有多种解读，但业界一般认为，大数据有四个“”字开头的特征：Volume(容量),Variety(种类),Velocity(速度和最重要的Value(价值)Volume是指大数据巨大的数据量与数据完整性。张亚勤说，IT业界所指的数据，诞生不过60多年。而一直到个人电脑普及前，由于存储、计算和分析工具的技术和成本限制，许多自然界和人类社会值得记录的信号，并未形成数据。几十年前，气象、地质、石油物探、出版业、媒体业和影视业是大量、持续产出信号的行业，但那时90%以上采用的是存储模拟信号，难以通过计算设备和软件进行直接分析。拥有大量资金和人才的政府和企业，也只能把少量最关键的信号，进行抽取、转换、装载到数据库中。张亚勤认为，尽管业界对达到怎样的数量级才算是大数据并无定论，但在很多行业的应用场景里，数据集本身的大小并不是最重要的，是否完整才最重要。

Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。“这必然促使我们对海量数据进行分析、处理和集成，找出原本看来毫无关系的那些数据的‘关联性’，把似乎没有用的数据变成有用的信息，以支持我们做出的判断。”张亚勤说。Velocity可以理解为更快地满足实时性需求。数据的实时化需求正越来越清晰。对普通人而言，开车去吃饭，会先用移动终端中的地图查询餐厅的位置，预计行车路线的拥堵情况，了解停车场信息甚至是其他用户对餐厅的评论。吃饭时，会用手机拍摄食物的照片，编辑简短评论发布到微博或者微信上，还可以用LBS(基于位置的服务)应用查找在同一间餐厅吃饭的人，看有没有好友在附近„„

1大数据与云计算摘要：近年来，大数据和云计算已经成为社会各界关注的热点话题。秉承“按需服务”理念的“云计算（Cloudcomputing）”正高速发展，“数据即资源”的“大数据（bigdata）”时代已经来临[1]。大数据利用对数据处理的实时性、有效性提出了更高要求，需要根据大数据特点对传统的常规数据处理技术进行技术变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。本文所提到的大数据包含着云计算，因为云计算是支撑大数据的平台。关键词:大数据云计算数据分析数据挖掘引言在学术界，大数据这一概念的提出相对较早。2008年9月，《自然》杂志就推出了名为“大数据”(bigdata)的专刊。2011年5月，麦肯锡全球研究院发布了名为《大数据:创新、竞争和生产力的下一个前沿》(Bigdata:Thenextfrontierforinnovation，competition，andproductivity)的研究报告，指出大数据将成为企业的核心资产，对海量数据的有效利用将成为企业在竞争中取胜的最有力武器。2012年，联合国发布大数据政务白皮书，指出大数据可以使用极为丰富的数据资源来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。2012年3月29日，奥巴马政府发布了《大数据研究与发展计划倡议》，宣布启动对大数据的研发计划，标志着美国把大数据提高到国家战略层面，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。大数据应用正在风靡全球，大数据精准营销成为企业掌舵者的口头禅，那么大数据真的是无懈可击吗？答案显然是否定的。随着互联网和移动设备的普及，大数据已经在我们的生活中无处不在，而有关大数据与隐私的问题也日益受到关注。毫无疑问，未来可以获得的个人数据量越多，其中的信息量就越大。只要拥有了足够多的数据，我们甚至可能发现有关于一个人的未来信息。另外市场是变化无常并且不可预期的，决策者的创造性思维并不能通过数据得以体现，相反，大数据在压制创新。大数据搜集到的数据的真实性也有待检验。一个人获得的数据和事实越多，预测就越有意义，人的判断也就显得愈发重要。人类、数据集和算法的协同进化将最终决定“大数据”究竟是会创造新财富，还是会摧毁旧价值。本文首先介绍了云计算的相关概念，云计算为大数据的诞生创造了物质基础，从而引出大数据的相关概念。通过大数据与云计算之间关系的比较，使读者对大数据与云计算有一个清晰的了解。文章介绍了大数据特征、作用以及对大数据分析的方法理论，对大数据的两种处理模式、处理流程以及关键技术进行了分析，提出MapReduce与关系数据库融合技术，为未来大数据的工作提供了一个参考。

78Practice|行业治理栏目编辑：张磊磊 E-mail:1711945429@2019年·第4期云计算与大数据技术对金融业的影响分析■ 中国人民银行宿州市中心支行　裴立公摘要：云计算和大数据作为当前信息技术发展的集大成者，对各行各业的影响非常深远，金融业应当紧跟时代发展形势，研究其变革路径。本文分析了云计算与大数据技术对传统金融业变革的影响，并在研究传统金融不足的基础上阐述了云计算和大数据技术的重要性和意义，提出了云计算和大数据技术在金融业的应用领域和前景。关键词：金融行业；大数据；云计算

作者简介： 裴立公（1968-），男，理学硕士，工程师，供职于中国人民银行宿州市中心支行，研究方向：金融科技。收稿日期： 2019-01-21云计算是一种建立在大数据基础上的计算模式，各种计算资源放在一个大的数据库之中被共享和应用。大数据以其数据海量著称，传统的抽样调查统计分析方法难以挖掘出其中的价值，因此，需要对数据进行全新的分析和处理，使得数据产生前所未有的决策力和洞察力。云计算和大数据相辅相成，云计算以大数据为基础，大数据依靠云计算发挥强大的功用。一、云计算与大数据对金融业的影响分析（一）云计算对金融业的影响1. 增强数据的存储能力与可靠性云计算具有可靠的特点。云中的服务器众多，可以提供强大的存储能力，满足金融业不断增长的数据存储需求。同时，云计算提高了数据的可靠性，即使在用的服务器出现问题，云中的服务器也可以在最短时间内，将数据迅速地转移到新的服务器上继续提供服务，让金融产业的备灾问题得到解决，做到防患于未然。2. 解决金融业绩效量化问题云计算利用虚拟化的形式，将资源分割地更小，可以更好得调动资源，充分利用硬件资源，让金融业的数据更加安全、可靠、迅速地实现共享，服务质量得到提高，运营成本逐渐下降。3. 提升数据处理能力云计算有利于提高对数据的处理与分析能力，当前大多数的金融机构仍然不能够熟练地运用客户的79Practice|行业治理栏目编辑：张磊磊 E-mail:1711945429@2019年·第4期数据进行分析，在信息资源共享、存储、数据处理上也存在着较大的问题。而云计算可以在最短的时间内对数据进行分析、处理、挖掘，从海量的信息中提取有价值的信息，为相关决策提供更好的服务。（二）大数据对金融业的影响1. 实时处理结构化与非结构化数据大数据可以对结构化和非结构化数据同时进行分析和处理，这是传统统计软件难以实现的功能。大数据能够将海量的信息集成在一起形成强大的数据库，让金融业从中提取出有用的信息。大数据的引入使得对金融行业发展趋势和发展方向的预测变得更加便捷，同时也会提升数据分析和预测的精确性。大数据提供的数据分析、数据管理和数据处理技术使得金融业的发展获得了更多的数据支持，能够在经营改善、风险控制和精确营销上做出更科学的决策。2. 风险管理大数据技术收集的是更全面、更真实、更有效的数据，并且能够找出不同变量之间的关系，挖掘数据背后潜在的风险，帮助金融产业迅速识别风险，改善风险决策方式，从而提高风险的管理效率。3. 客户管理金融业客户基础非常庞大，随着业务的增长，如何处理客户关系、进行客户划分、识别客户、挖掘客户需要、减少客户流失，成为金融机构的难点与重点。利用大数据可以有效地突破当前的这些重点与难点。4. 市场营销在消费者信息被淹没，客户信息不断变化的今天，如何抓住客户需要并精准地推送营销信息，是当前金融业必须直面的问题。利用大数据可以抓住客户需要，从以产品导向转变为以客户导向，逐渐提高金融机构的营销效益。（三）云计算与大数据对金融业的共同影响云计算和大数据的融合将形成云金融发展态势，云金融服务平台可以将产品、信息、服务、机构和用户有机融合在一起，打造便捷的云服务平台。互联网是云金融运行的基础，大数据是云金融开展的主要内容，云计算则是云金融运行的方法。互联网是在多种形态前提下建立的，简单网络、复杂网络、内部网络、外部网络、有线网络、无线网络、传输网络、社交网络共同存在，这种多内容、多技术、多形态的互通巨型网络使得现代金融发展具备坚实的底层技术。金融业务在云时代将会在网络之中快速沟通，在数据之中运行，并在云端之中得到妥善存储。云计算模型为新时期金融产业提供了构成原理，各金融机构的数据中心可以实现高度互联。云计算服务商所提供的云网络为金融数据、金融信息和金融服务在云网络中的集成创造了便捷的基础，分散的信息将变为有价值的信息，散乱的数据将变为有逻辑的数据，低端的服务将过渡成为高价值的创造，金融服务机构的服务质量和竞争力将获得大幅度提升。可以说，云计算和大数据下的金融机构和金融业将在整体上提升效率，获得流程再造的机会，并在降低成本的同时提升风险防御能力，为客户提供更具针对性、更有实效性的客户体验。二、云计算和大数据给金融产业带来的创新（一）服务方式部署上的创新云计算和大数据的应用使得金融机构够站在业务需求和客户的角度去思考问题和进一步部署资源，同时云计算服务商共同致力于将自身独特的优势融入到云平台之中来。比如，PayPal公司提供了一种云计算方式来提升流动资金效率；Amazon Web提供强大的信息整合和集成服务，极大地提升了金融业的资金效率和销售效率，让客户获得了具有更高附加值的服务；Microsoft Azure一方面提供云计算平台，另一方面则可以整合资金链条并提升资金使用效率。金融机构和这些云计算服务提供商合作，可以在不设置网点的情况下提供金融服务。大数据、云计算向金融机构提供了80Practice|行业治理栏目编辑：张磊磊 E-mail:1711945429@2019年·第4期一种新型的服务模式——在无需建立地区分支机构的前提下提供全套的金融服务。（二）客户服务创新云计算和大数据的特点决定了其能方便地为客户提供真正意义上的无间断金融服务。在全球任何一个地方，金融机构都可以为客户提供便捷的金融平台和全方位的服务支持。全覆盖的IT技术使得金融机构可以在各个分支机构为客户提供令人满意的服务，而在云计算和大数据的基础上，客户服务体验的提升能够大幅度提高客户黏性、吸引新客户。（三）加快产品创新速度金融产品的创新速度取决于金融机构对金融产品的风险控制程度。大数据和云计算使得即时风险控制变为现实，金融机构可以利用云计算平台的便捷性和即时性来驱动产品创新，如云计算平台Azure的优势正体现在这一点上。三、结语互联网金融引起的金融业变革是云计算和大数据发展到一定阶段的必然结果，是信息技术发展到一定程度的必然趋势。目前来看，云计算在很大程度上促进了金融行业服务结构和服务对象的改变，为金融业的发展提供了良性的成本控制方案。将云计算融入金融业是提升金融产业市场化程度、促进金融服务体系完善的重要举措，在我国经济结构转型的关键时期具有至关重要的意义。金融业从业者应当立志促进行业的改革和发展，为我国经济建设和金融发展作出应有的贡献，积极地学习云计算和大数据技术。FTT参考文献：[1]林巍，王祥兵. 大数据金融：机遇、挑战和策略[J]. 财会学习，2016(3):140-142.[2]侯敬文，程功勋. 大数据时代我国金融数据的服务创新[J]. 财经科学，2015(10):26-35.[3]杜永红. 大数据下的互联网金融创新发展模式[J]. 中国流通经济，2015(7):70-75.[4]百度文库. 十三五大数据金融行业发展趋势及机遇分析[EB/OL]. https:///view/0f3195a433687e21ae45a967.html.

大数据与云计算

云计算和大数据是一个硬币的两面大数据正在引发全球范围内深刻的技术和商业变革如同云计算的出现，大数据也不是一个突然而至的新概念。“云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。”张亚勤说。云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。

30年前，存储1TB也就是约1000GB数据的成本大约是16亿美元，如今存储到云上只需不

到100美元但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。

目前，云计算已经普及并成为IT行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。”张亚勤说。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们，甚至代表我们去工作”。在商业模式上，张亚勤认为，对商业竞争的参与者来说，大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例，它们都是商业嗅觉极其敏锐、敢于投资未来的公司，也因此获得了丰厚的回报。 IT产业链分工、主导权也因为大数据产生了巨大影响。以往，移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。