IBM大数据平台的创新应用实践

Ｔｅｃｈｎｏｌｏｇｙ　Ｓｔｕｄｙ　技术研究　

通信行业大数据平台项目应用与实践研究　

杨李娜　（新华通讯社，北京１００８０３）　

摘要：本文首先对大数据平台以及Ｈａｄｏ０ｐ框架的概念和特点进行了介绍，然后依次对Ｈａｄｏｏｐ架构核心、技术优　占、进行了阐述，最后对通信系统话单Ｋｂ．＿．ｔＥ￣Ｈａｄｏｏｐ架构的应用进行了剖析。　关键词：大数据；Ｈａｄｏｏｐ￣架；通信系统；话单　ｄｏｉ：１０．３９６９／ｊ．ＩＳＳＮ．１６７２—７２７４．２０１５．０９．０１０　中图分类号：ＴＮ９１　文献标识码：Ｂ　文章编码：１６７２－７２７４（２０１５）０９—００４３—０４　

Ｔｈｅ　Ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　Ｐｒｏｊ　ｅｃｔ　ｏｆ　Ｂｉｇ　Ｄａｔａ　Ｐｌａｔｆｏｒｍ　ｉｎ　ｔｈｅ　Ｉｎｄｕｓｔｒｙ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　

Ｙａｎｇ　Ｌｉｎａ　（Ｘｉｎｈｕａ　Ｎｅｗｓ　Ａｇｅｎｃｙ，Ｂｅｉｊｉｎｇ，１００８０３）　

Ａｂｓｔｒａｃｔ：Ｆｉｒｓｔｌｙ，ｔｈｅ　ｃｏｎｃｅｐｔ　ａｎｄ　ｃｈａｒａｃｔｅｒｓ　ｏｆ　ｂｉｇ　ｄａｔａ　ｐｌａｔｆｏｒｍ　ａｎｄ　Ｈａｄｏｏｐ　ｆｒａｍｅｗｏｒｋ，Ａｎｄ　ｔｈｅｎ　ｔｈｅ　ａｄｖａｎｔａｇｅ　ａｎｄ　ｃｏｒｅ　ｏｆ　Ｈａｄｏｏｐ　ｆｒａｍｅｗｏｒｋ，ｆｉｎａｌｌｙ，ｔｈｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　Ｈａｄｏｏｐ　ｐｌａｔｆｏｒｍ　ｏｎ　ｔｉｃｋｅｔ－　ｈａｎｄｌｉｎｇ　ｉｎ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｉｎｄｕｓｔｒｙ　ａｒｅ　ａｎａｌｙｚｅｄ．　Ｋｅｙｗｏｒｄｓ：Ｂｉｇ　ｄａｔａ；Ｈａｄｏｏｐ　Ｆｒａｍｅｗｏｒｋ；Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ；ｔｉｃｋｅｔ　

ｌ　引言　

Ｈａｄｏｏｐ是一个能够对大量数据进行分布式处　理的软件框架，它是以一种可靠、高效、可伸缩的　方式进行处理的。Ｈａｄｏｏｐ是可靠的，因为它假设　计算元素和存储会失败，因此它维护多个工作数　据副本，确保能够针对失败的节点重新分布处理；　Ｈａｄｏｏｐ是高效的，因为它以并行的方式工作，通过　并行处理加快处理速度；Ｈａｄｏｏｐ还是可伸缩的，能　够处理ＰＢ级数据。此外，Ｈａｄｏｏｐ依赖于社区服务，　它的成本比较低，任何人都可以使用。Ｈａｄｏｏｐ是一　个能够让用户轻松架构和使用的分布式计算平台，　用户可以轻松地在它上面开发和运行处理海量数据　的应用程序。　Ｈａｄｏｏｐ是一个分布式系统基础架构，￣Ａｐａｃｈｅ　基金会开发。用户可以在不了解分布式底层细节的　情况下，开发分布式程序，充分利用集群的威力高速　运算和存储。简单地说，Ｈａｄｏｏｐ是一个可以更容易　开发和运行处理大规模数据的软件平台。　■

抓住“新四化”带来的机会

作者：暂无

来源：《计算机世界》 2013年第17期

IBM 大型主机凭借高稳定、高扩展、高并发、安全性等特征，成为越来越多民生用户的最终选择。

本报记者 汤铭

新四化新机会

已故著名摄影家侯登科先生，曾经用数年精力追踪拍摄夏收时节在西北地区帮各地农民收割小麦的“麦客”，用照相机记录下麦客由盛而衰的过程。从1990 年代开始，机械化的收割机逐渐抢占了麦客的地盘，麦客们的“ 规模经营” 之势渐缩。2012 年夏收期间，据不完全统计，整个河南省参加跨区作业的农机就达32.5 万台。

如何将如此庞大的机械化钢铁“麦客”管理好、利用好， 实现资源最大化配给，提高农机使用效率和农户收入，成为了摆在当地农机管理部门面前的一大挑战。为此， 为了实现对“ 三夏”、“ 三秋” 跨区作业的精细化组织和信息化管理，促进农机化与信息化融合、提高全省农机管理效率和水平，以及推动农机管理工作更加科学化、合理化、人性化， 河南省农机局开始逐步为参加跨区作业的联合收割机免费安装了车载终端GPS 卫星定位系统，构建跨区作业信息网络设施和智能调度管理服务平台， 通过现代化的信息化手段， 实现对粮食安全、小麦及时收割、“ 麦客” 及其跨区作业农机的精细化管理。而在整个系统的背后，IBM 大型主机成为了幕后英雄，IBM ELS 则作为其中核心的IT 基础设施平台承载包括GPS 数据库系统、Web 数据库系统和OA 数据库系统的核心数据，并提供系统管理和运维管理等多种能力。

作为计算设备中的高帅富， 大型机以往只能在大型银行这样的金融机构中见到它的身影。对于农业与大型机的“联姻”，在很多人眼中简直是不可思议的事情。但是在IBM 系统与科技部大中华区主机产品部总经理施东峰看来，这种貌似的不般配、不搭调，恰恰是大型机的魅力所在。“IBM 大型主机能够成为帮助用户转变思维看待大数据、利用大数据，使之成为业务转型创新的利器，帮助企业将有限资源转移到实现业务创新的地方，真正以高效、稳定、安全和绿色铺平通往更高价值的成长之路。”

龙源期刊网

创新发展体制机制推动大数据应用实践

作者：张理敬

来源：《软件和集成电路》2017年第08期

在这里我们向各位汇报一下青岛市在大数据建设方面的一些思考和实践。整个内容主要是从六个方面简单展开。

第一，坚持顶层设计，谋划六位一体的布局。

今年4月，我们出台了《青岛市大数据发展指导意见》。在这个《意见》里我们总结了几点，核心是一个目标，这个目标我们也分成两段：到2018年年底，我们整个的大数据发展取得一定的成果。到2020年，我们提出了要建设与“宜居幸福，创新性国际城市”相适应的目标。

“宜居幸福，创新性国际城市”是青岛市新提出的目标。我们也提了一个“三中心”、“一高地”的目标。具有较强影响力的大数据集散服务中心、大数据应用引领中心、大数据研发创新中心和大数据产业集聚高地，围绕这个目标我们在四大领域做了23项示范应用，分解了24项重大任务工程。另外我们也提出了城市数据资源化、数据融合增值化、政府治理智慧化、民生服务便捷化、海洋经略科技化、产业转型创新化、环境营造多元化方面进行全面的展开。

去年年底我们紧跟国家的步伐，设立了青岛大数据发展促进局，当前我们属于六位一体的建设思路，包括大数据、电子政务、政务公开、公共信用、政府网站、信息资源，作为青岛市全市的统筹、管理、协调、统计、培训和技术支持，我们在体制机制的建设上进展顺利。

去年我们也成立了以市长为组长，副市长分管大数据方面为副组长，主要的部门和各区市参与的青岛市大数据推进小组，统筹整个大数据发展方面的工作。

从我们的体制机制来说，经过这么多年的发展形成了一个青岛模式，实际上青岛模式是范围比较广的。我们总结是四统一分的管理体制：

统一机构：青岛市电政信息办（青岛市大数据发展促进局）统一负责拟订大数据发展战略、规划和政策，引导和推动大数据研究和应用工作；统筹规划、管理、协调、推进电子政务基础平台建设和运行管理。避免多头管理、重复建设。

企业大数据分析挖掘及大数据BI工具应用实践

作者：乔冰琴 段全虎 高翠莲

来源：《会计之友》2021年第24期

【关键词】 大数据; BI工具; 贷款风险预测; 大数据处理流程; 企业大数据应用

【中图分类号】 F234 【文献标识码】 A 【文章编号】 1004-5937（2021）24-0131-07

一、引言

大数据的发展与应用已经深入人心，大数据在企业中的应用实践也不断地落地开花。王秋菲等[1]利用网络爬虫技术获取了亚太实业自2009—2016年间的相关数据，对这些数据进行挖掘分析，提取出能揭示公司财务是否存在舞弊行为的重要审计证据。张志恒等[2]基于大数据文本挖掘技术构建了审计数据分析框架，利用文本挖掘模型挖掘出审计疑点，为大数据审计提供审计证据和线索，从而提高审计质量。

随着企业信息化的进一步高速发展，数据来源更加多样化、数据体量更加巨大化、数据格式更加复杂化，这为企业应用大数据进行日常经营管理、分析和预决策带来了挑战。张红英等[3]分析了大数据时代财务分析面临的机遇与挑战，指出大数据时代财务分析面临的机遇有财务数据与非财务数据混搭、结构化数据与非结构化数据混搭、宏观数据与微观数据混搭，这些“混搭”为财务分析带来了广阔的数据“蓝海”，大数据技术为提高基于数据总体的企业财务决策提供了支持，使传统财务的阶段性报告转向动态实时报告;而大数据时代财务分析面临的挑战有信息安全、获得信息的成本以及信息处理人才。路伟果等[4]指出数据挖掘技术将重新定位会计人员和会计部门的角色、扩大会计确认的要素范围、更多地采用可视化技术解释数据以及企业将面临更大的信息安全风险;进一步指出会计人员要逐步转型为数据分析师和算法工程师、增强会计人员的数字素养和提高可视化管理能力、构筑信息安全防护体系等。乌婷等[5]指出，大数据对管理会计的思维、范围、方式及效果创新产生了深远影响，提炼出大数据时代下管理会计应具备的职业能力：思维创新能力、数据分析挖掘能力、IT应用能力及业务综合处理能力，为管理会计人员胜任大数据时代下的管理会计工作提出相应的建议。