移动互联网的大数据处理关键技术

信息技术・　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ１６０　　大陆桥视野・２０１６年第６期

一、移动互联网大数据概述移动互联网大数据是指用户使用智能终端在移动网络中产生的数据，主要包括：与网络信令、协议、流量等相关的网络信息数据；与用户信息相关的用户数据；与业务相关的数据。大数据提供客户经历的各种体验的完整信息，可以详尽到在任何时间、地点，结合移动客户体验方案来分析相关数据，从而帮助运营商更详细掌握客户体验情况，提前预知网络上可能发生的问题，及时做出合理响应，这些信息对运营商的服务提供很大的帮助。大数据分析为整个电信产业带来了前所未有的机遇与挑战，如何高效地发挥这些数据资源的作用，是摆在为运营商面前的关键问题。二、移动互联网大数据处理中存在的问题（一）多源数据采集问题大数据时代的数据存在如下几个特点：多源异构、分布广泛、动态增长、先有数据后有模式。举例来说，一个用户的一条位置信息的价值是很小的，但是很多这样的低价值数据可以完整刻画出用户的运动轨迹，获得本质上的价值提升。然而，在已有的数据采集系统中，数据收集不全面是一个普遍的问题，如何处理来自多源的数据是移动互联网大数据时代面临的新挑战。其中，迫切需要解决如下几个问题：１．无线移动网络结构复杂，需要在网络中高效地采集数据。２．多源数据集成和多类型数据集成的技术。３．兼顾用户的隐私和数据的所有权和使用权等。（二）移动互联网海量异构数据管理问题据统计，２００３年前人类共创造了５艾字节（Ｅｘａｂｙｔｅｓ）的数据，而今天两天的时间就可以创造如此大量的数据。这些数据大部分是异构数据，有些具有用户标注、有些没有；有些是结构化的（比如数值、符号）、有些是非结构化话的（比如图片、声音）；有些时效性强、有些时效性弱；有些价值度高、有些价值度低。移动互联网海量异构数据管理平台包含以下关键研究和技术：海量异构大数据传输控制、大数据存储、大数据质量管理。（三）移动互联网大数据实时数据挖掘问题传统意义上的数据分析（Ａｎａｌｙｓｉｓ）主要针对结构化数据展开，且已经形成了一整套行之有效的分析体系。首先，利用数据库来存储结构化数据，在此基础上构建数据仓库，根据需要构建数据立方体进行联机分析处理（ＯＬＡＰ，ＯｎｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ），可以进行多个维度的下钻（Ｄｒｉｌｌ－ｄｏｗｎ）或上卷（Ｒｏｌｌ－ｕｐ）操作。对于从数据中提炼更深层次的知识的需求促使了数据挖掘技术的产生，并发明了聚类、关联分析等一系列在实践中行之有效的方法。这一整套处理流程在处理相对较少的结构化数据时极为高效。但是，对于移动互联网来说，涉及更多的是多模态数据挖掘，这些数据包括手机上的传感器，包括加速度计、陀螺仪、指南针、ＧＰＳ、麦克风、摄像头、以及各种无线信号（如ＧＳＭ、ＷｉＦｉ）和蓝牙等。这些原始数据在不同维度上刻画被感知的对象，需要经过不同层次的加工和提炼才能形成从数据到信息再到知识的飞跃。移动互联网半结构化和非结构化数据量的迅猛增长，给传统的分析技术带来了巨大的冲击和挑战。三、移动互联网的大数据处理关键技术（一）数据处理的整体框架数据处理的整个过程如下图所示，主要包括四个模块：分词（ＷｏｒｄｓＡｎａｌｙｚｅ）、排重（ＣｏｎｔｅｎｔＤｅｄｕｐｌｉｃａｔｅ）、整合（Ｉｎｔｅｇｒａｔｅ）和数据。

图数据处理的整体框架这四个模块的主要功能如下。分词：对抓取到的网页内容进行切词处理。排重：对众多的网页内容进行排重。整合：对不同来源的数据内容进行格式上的整合。数据：包含两方面的数据，ＳｐｉｄｅｒＤａｔａ（爬虫从网页中抽取出来的数据）和ＤｐＤａｔａ（在整个数据处理过程中产生的的数据）。（二）数据处理的基本流程整个数据处理过程的基本步骤如下：１．对抓取来的网页内容进行分词；２．将分词处理的结果写入数据库；３．对抓取来的网页内容进行排重；４．将排重处理后的数据写入数据库；５．根据之前的处理结果，对数据进行整合；６．将整合后的结果写入数据库。（三）数据处理的关键技术１．排重排重就是排除掉与主题相重复项的过程，网页排重就是通过两个网页之间的相似度来排除重复项。Ｓｉｍｈａｓｈ算法是一种高效的海量文本排重算法，相比于余弦角、欧式距离、Ｊａｃｃａｒｄ相似系数等算法，Ｓｉｍｈａｓｈ避免了对文本两两进行相似度比较的复杂方式，从而大大提高了效率。采用Ｓｉｍｈａｓｈ算法来进行抓取网页内容的排重，可以容纳更大的数据量，提供更快的数据处理速度，实现大数据的快速处理。Ｓｉｍｈａｓｈ算法的基本思想描述如下：输入为一个Ｎ维向量Ｖ，比如文本的特征向量，每个特征具有一定权重。输出是一个Ｃ位的二进制签名Ｓ。（１）初始化一个Ｃ维向量Ｑ为０，Ｃ位的二进制签名Ｓ为０。（２）对向量Ｖ中的每一个特征，使用传统的Ｈａｓｈ算法计算出一个Ｃ位的散列值Ｈ。对１＜＝ｉ＜＝Ｃ，如果Ｈ的第ｉ位为１，则Ｑ的第ｉ个元素加上该特征的权重；否则，Ｑ的第ｉ个元素减去该特征的权重。（３）如果Ｑ的第ｉ个元素大于０，则Ｓ的第ｉ位为１；否则为０。（４）返回签名Ｓ。对每篇文档根据ＳｉｍＨａｓｈ算出签名后，再计算两个签名的海明距离（两个二进制异或后１的个数）即可。根据经验值，对６４位的ＳｉｍＨａｓｈ，海明距离在３以内的可以认为相似度比较高。２．整合整合就是把抓取来的网页内容与各个公司之间建立对应关系。对于每一个公司来说，可以用一组关键词来对该公司进行描述，同样的，经过ｄｐ处理之后的网页内容，也可以用一组关键词来进行描述。因此，整合就变成了两组关键词（公司关键词，内容关键词）之间的匹配。对于网页内容的分词结果来说，存在着两个特点：（１）分词

移动互联网的大数据处理关键技术汪晓东／中国联合网络通信有限公司烟台分公司【摘 要】通过大数据的研究处理将获得的有用信息服务于企业或机构，使其在竞争中取得优势，来为企业提供更好的处理大数据的方法，帮助企业更深刻的理解客户对其的需求和体验，以利于业务的发展，用户也可以更好地体验移动互联网各种资源。本文首先对移动互联网大数据做了概述，然后分析了移动互联网大数据处理中存在的问题，最后详细阐述了移动互联网的大数据处理关键技术。【关键词】移动互联网；大数据；处理；排重；整合大陆桥视野ＮＥＷ　ＳＩＬＫ　ＲＯＡＤ　ＨＯＲＩＺＯＮ

大陆桥视野・２０１６年第６期 １６１十八大报告中，对腐败危害认识进一步深化，提出坚持标本兼治、综合治理、惩防并举、注重预防方针，全面推进惩治和预防腐败体系建设，做到干部清正、政府清廉、政治清明，进一步彰显了党和政府反腐倡廉的决心。［１］近年来，随着油田的深入发展，伴随的业务种类逐渐增多，业务量也逐年加大，在大量社会公司或油田系统单位参与竞争的情况下，容易诱发违纪违规问题的源点和环节越来越多，腐败产生的危险越来越大，反腐倡廉建设任务越来越繁重。［２］鉴于反腐

败斗争的长期性、复杂性、艰巨性，仅靠简单机械的反腐倡廉手段难以取得明显成效。在复杂多变的内外部环境，如何保证油田发展取得的成果不被侵蚀，寻找新形势下拒腐防变的方法和途径尤为重要。［３］掌握和运用科学的方法推进工作、破解难题，是增

强反腐倡廉建设成效、提高反腐倡廉建设科学化水平的必然要求。［４］本文将以油田特种工程管理中心（以下简称特管中心）利用信息技术提升反腐倡廉建设科学水平为例进行探讨研究。一、以系统创新为基础，把惩防体系制度融入经营管理流程中，确保权力运行公开透明　特管中心坚持把惩防体系制度融入生产经营流程中，实行制度规范与系统约束有机结合，通过信息技术手段，加强制度建设，固化业务流程和工作程序，缩小制度设计与制度执行之间的差距，切实提高制度执行力，确保权力运行程序化和公开透明。　（一）制度融入系统运行，完善权力运行机制，规范经营管理行为按照“所有的流程都有相应的管理制度作保障；所有的生产都有信息系统作支撑”的总体要求，特管中心紧紧围绕西北油田分公司的目标、指标及中心生产经营管理这条主线，利用流程优化有效将三基、ＱＨＳＥ、ＥＲＰ、内控以及中心十大管理体系进行融合，建立起简洁、统一、高效的生产经营管理体系，实现了各岗位工作　“流程化、标准化、制度化、数量化、精细化”的管理模式。在日常生产经营活动过程中，通过生产经营管理体系各部门工作手册和各岗位的岗位说明书的使用，所有制度的具体要求，落实到生产任务　“下达—执行—跟踪—完成—统计—签证”为一体日常管理工作中去，从而实现了“组织扁平化、业务专业化、管理网络化、权责清晰化、指标数量化”　的管理框架，使管理指令、信息沟通渠道以及生产经营目标指标的分解、落实高效畅通，实现了生产经营全过程监控管理，有效规范了生产经营的管理行为。

特管中心在不断完善中心治理结构下的权力运行机制中，充分运用信息系统，规范“三重一大”决策制度，做到所有涉及企业生产经营的重大决策、重大项目安排、资金运作事项及重要人事任免都在系统中授权运行，在系统中可以查到任何一项重大决策的决定过程、实施情况和实际效果。　（二）制度固化系统流程，完善权力内控机制，确保制度有效执行特管中心采用信息化技术规范风险防控的查找和落实，为权力运行装上了ＧＰＳ，使隐性职权变得可视、可查、可纠，成为约束职权运行的‘隐形翅膀’。特管中心运用中心门户网站，建立健全防控工作实施方案。中心由党政领导和纪检部门组成岗位廉政风险评估领导小组，将廉政风险程度用红、黄、绿三种颜色进行识别，分别代表高危、次高危、相对平稳。每个岗位人员都必须填写个人岗位廉政风险评估表和岗位廉政风险自查表，通过自己找、群众帮、领导提、组织审的方法，将本岗位的廉政危险控制点查找出来，放到网上进行公示后，查找出岗位廉政危险控制点６６个。纪检部门通过网络平台对危险控制点进行全程监控，做到了从事后监督，向事前、事中监督转变，使监督关口前移。（三）持续优化系统管理，完善权力约束机制，净化经营管理环境在市场运行过程中，特管中心纪委严格执行招投标管理规章制度，通过“发起人—部门初审—经济审查—技术审查—纪检监察—法律审查—分管领导审查—中心领导审查”的层层网络审查方式，有效监督招投标和商务谈判的公平性。同时，中心组织人员在网络上对此类项目的合同履行情况、实际效果等进行抽查。在自检自查工作开展中，按照“划分比例、随机抽取、全面覆盖、不留死角”的原则，对２０１２年度１至１２月份签订的２３２份合同展开自检自查，共抽检合同６０份，发现问题主要包括未应标承包商回函不及时、授权委托书不规范等两方面问题共计２项，相关部门已全部整改落实。二、以权力制衡为重点，把业务处置行为纳入系统流程管控中，实现权力规范运行　特管中心按照决策、经营、执行三个层次建立信息系统，对重点领域和关键环节实施在线运作、实时监控、动态监管，通过系统实现对权力的分解和流程的优化，防止越权和“绕道”行为发生，切实规范领导人员和有业务处置权人员的用权行为。