基于通信数据的移动用户行为分析
基于通信数据的移动用户行为分析
[摘要] 认为分析移动用户行为特征与分类，对移动应用个性化服务的改进具有重要的参考价值。基于国内电信运营商随机抽取某市一万移动用户一周的日志记录，其中含有4万余条通话记录和200余万条网络请求，每条请求包含对应的基站标号以及基站地理位置。本研究从消费能力、通话量、网络请求量、位移量四个维度从这批数据中提取14种基本特征指标。利用K-Means聚类方法将移动用户区分成规律通话型、随机上网型、居家节约型和随机高消费型等四类用户模型。
[关键词] 用户行为分析;移动用户研究;聚类分析;数据挖掘
[分类号] G35
1 引言
随着移动通信技术的迅猛发展和广泛应用，移动终端大量普及于民众，也产生了大量用户信息记录，如何利用大数据来了解移动用户行为与习惯特征的研究不断涌现。经过对移动用户的分析与了解，许多企业与政府部门能够依据结果提供各式各样的服务与应用方案。移动用户行为分析一般是指基于地理信息涉及用户访问网络、通话的行为规律与活动研究。电信运营商经过获取用户访问移动互联网、使用移动应用及通话的行为规律,能够有效地配置网络资源并提供具有针对性的服务。
近年来，针对桌面端日志挖掘的研究层出不穷，[15, 16, 17]都是针对桌面端web服务的后台日志挖掘入手，经过分析用户访问页面的占比、用户访问的页面顺序等对用户的行为进行建模。而针对移动用户的行为分析研究则在很多方面借鉴了桌面端的研究，同时利用移动端设备的地理位置位置记录，挖掘出用户移动轨迹模式，找出轨迹中重要的位置并结合通信数据、互联网日志数据以及移动应用数据作为研究的基础，分析挖掘移动用户的需求、行为、兴趣，甚至是经过预测用户的目的地、推测用户下一步即将到达的位置以便提供针对性的推荐服务[1，13]。传统的移动用户轨迹分析，多数利用软件采集仿真数据，属于细时空粒度下的数据，即能够采集到用户一天中连续时间段的位置数据。Y.Zhu等作者着眼于用户位置数据中经常出现的地点，并根据出现时间来推测用户所处的位置是家还是公司[2]。另外，S.Akoush和A.Sameh则经过指定时间粒度，聚类用户在多日同一时间段的行动轨迹，利用稀疏数据拟合出用户在这时间段移动轨迹的目的[3]。研究用户的移动轨迹，实现预测用户下一步位置目的的方法，包括利用贝叶斯算法、聚类、数据挖掘方法等。实际上，电信运营商服务器上的数据是粗时间粒度的，唯有请求通信或上网时才会被记录，因此用户位置变化是不连贯的，具有随机性、稀疏性的特点，不能支持用户行为轨迹直接且连续的刻画描述。谭均元等人提出了生活熵概念作为用户移动轨迹规律程度的度量[4]，采用了个人多天时段移动序列的算法来弥补实际数据的这种
不足，即经过对多天数据的分析来获得更准确的用户移动轨迹。S.A.Shad则结合地理信息与用户提供的上下文语义信息来增加预测准确性[5]。梁鹏等作者则透过在WAP网关进行数据采集，并对数据进行数值分析和拟合,最后得到用户行为的统计性特征来建立用户行为分析模型[6]。吕洋利用上网数据研究用户的网络请求行为、时间、网页应用、数据包大小等信息建立用户行为模型[7]。Y.Liu关注于移动用户上网过程中访问频率、访问时间、访问深度之间的关系[8]。G.F.Zhao等作者则利用二分网络模型来分析移动用户上网过程中用户与不同网站之间的关联。对移动用户上网请求过程中数据包的大小、请求响应时间等的研究也是与运营商相关的研究方向[9, 10, 11, 12]。由此可知，国内外对移动用户行为的研究呈现向上的趋势，研究的方法也越来越多样。
笔者基于运营商提供的移动数据，提取用户特征，并将选取的特征作为聚类分析的输入参数，以发现具有不同行为特征的用户类别。利用消费能力、通话量、网络请求量、位移量四个维度作为分析用户行为的基础，从该批数据中提取相关的评价指标。经过聚类算法对用户的分类，分析各类型用户所独有的属性、行为特征。各类用户模型分析结果能够作为电信运营商、服务或应用提供企业根据不同用户类型提供更好的推荐服务。
2 数据集及预处理
2.1 数据集
本研究的数据集来自国内移动电信运营商某市内的一万注册用
户的一周数据，时间为12月的第一周。数据包括用户基本信息、通话记录、上网记录、以及使用基站地理位置等，其中共有456006条通话记录和21441422条网络请求记录。该批数据中的所使用到的具体的信息字段包括: 用户编号(user_id)、移动产品品牌(brand_name)、用户通话产生的费用(call_fee)、用户上网产生的流量费用(gprs_fee)、增值业务费(databusiness_fee)、终端品牌(brand_chn)、手机操作系统(operation_sys)、通话开始时间(start_time)、通话结束时间(end_time)、通话基站纬度(longitude)、通话基站经度(latitude)、网络请求时间(start_time)、网络请求基站纬度(longitude)、网络请求基站经度(latitude)等。考虑到商业机密和隐私保护，笔者只对部份信息进行分析和结果展示。
2.2 数据预处理
数据预处理的主要工作包含删除空记录；删除通话数据异常记录(单一通话连续时长超过十小时)；清除与标记部份字段值缺失记录；以及清理用户请求基站服务的异常记录。经过数据清理与预处理，最后共8916个有效用户。
（1）部份字段值缺失记录
该批数据用户的基本信息记录中，对于用户通话产生的费用、用户上网产生的流量费用、增值业务费数据缺失的情况，这是由于用户在相应字段意义内未产生额外费用，统一赋值为0；对于手机品牌或操作系统值缺失的情况，我们推测这是由于用户是用的
手机并不属于主流品牌或主流操作系统，统一赋值为其它(OTHER)；用户的通话与上网数据记录有开始时间或结束时间缺失，对这部分记录做了删除处理；而且用户通话和上网数据中的位置信息的经纬度缺失的情况，也做了清除处理。
（2）用户请求基站服务的异常记录
根据同一用户不同时间的连续位移数据分析，发现部份记录用户在极短时间内进行了极大的位移。本研究利用通话起始、结束时间、上网请求时间、基站纬度、基站经度来计算用户位移时速，将时速大于100km/h的用户记录清除。在数据的处理过程中，经过Python这种简单易用的编程语言结合其用于数据分析处理的类库Numpy、Pandas[14]等大大降低了的我们的工作难度。
3 特征选取
本研究经过特征选取与统计结果来挖掘移动用户的特征，并利用这特征作为聚类的参数，将移动用户行为分类。本研究利用消费能力、通话量、网络请求量、位移量四个维度作为分析用户行为的基础。根据这四个维度的特征从该批数据中提取相关的评价指标，分别包含。消费能力:经过客户品牌、系统、话费三种来综合用户的消费阶层；通话量:利用每日通话次数、通话时长、每次通话时长、以及各时间段通话时长分布等作为用户通话习惯的评价指标；网络请求量:利用网络请求次数、各时间段的网络请求分布等统计结果作为描述用户上网习惯的特征参数；位移量:使用每日出现的基站数、位置位移量与生活熵的统计和计算结果来描述
用户一天中位置变化参数。
3.1 消费能力
本研究经过客户品牌、手机系统、话费三种特征来综合评价，评量用户的消费阶层。该批数据的电信运营商提供主要三个客户品牌: 动感地带、全球通和神州行，动感地带是面向年轻群体的客户品牌，目标用户是每月月话费值低，可是数据业务比重高的用户。全球通则面向中高端用户，较早地推出国际漫游和手机银行等加值服务。神州行则是面向大众用户，客户群的职业、年龄等跨度都较大，资费注重实惠、大众化。由此可知，客户品牌作为用户个人消费能力的一种特征。该批数据中，属于“动感地带”客户品牌的用户占全部的66%，使用“全球通”的用户占全部的13%，而“神州行”的用户占全部的21%。因此，主要手机移动用户以年轻用户为居多，并数据业务比重高的需求大。
由于每个用户移动装置的具体消费型号无法取得，本研究经过该用户手机的品牌与操作系统作为该用户的手机消费喜好参考特征之一，依据用户使用的系统与品牌主要分成安卓(Android)、苹果(iOS)、微软(Windows)、黑莓(Blackberry)以及其它(Other)。由于安卓系统占很大比例，而且该系统的手机消费分布广泛，因此在切分成三星(Samsung)、小米/魅族，以及其它安卓(Others of Android)。小米手机和魅族在价位及使用的用户群方面类似，因此本研究将其归为一类。尽管黑莓系统手机数量很少，但较多专业人员使用，本研究仍单独划为一类。经统计使用系统的用户比例
分别为:苹果，22.02%。微软，2.32%。黑莓，0.25%。三星，19.39%。小米/魅族，7.92%。其它安卓，20.12%。其它系统，27.93%。由此可知，多数用户仍选用安卓与苹果系统的手机。
用户在使用移动服务的过程中，消费主要分为三类：通话费、流量费和增值业务费。本研究将这三种消费的总和作为移动用户的消费金额。统计发现，用户月话费额的均值为51.01元，中位数为33.20元，而且半数的用户话费介于12.77至66.52元之间。
3.2 通话量
利用平均每日通话次数、平均通话时长、每次平均通话时长、以及各时间段通话时长分布等分析出用户通话习惯的评价指标。
将计算出用户多天的通话总次数，再除以天数作为平均每日通话次数的计算方式。根据计算结果，用户平均每天的通话次数为7.19次。通话最少的用户，7天内只通话一次。最多的用户则平均每天通话89.43次。75%的用户平均每天的通话次数在9.14次上下。相同的，平均每日通话时长是指用户一周的通话总时长，除以天数的计算结果。该批数据的每日通话时长统计分布如图1所示。所有用户平均每日通话时长为2440.49s，四分位数分别为724.25s、1481.93s和2854.96s，可见大多数用户每天的通话时间都比较短，少数用户的大量通话行为对平均数影响比较大。而且，计算用户多天的通话总时长除以通话总次数作为每次平均通话时长。经统计结果得到用户的平均每次通话时长为335.65s，四分位分别是204.59s、253.18s、352.00s。每次通话时长最短只有
46s，最长的则有3022s.
图 1 平均每日通话时长分布
为了分析移动用户的通话时长分布，本研究将一天分为8个时间段，从0点开始，每3个小时作为一个时间段。这划分方式将有意义的区别出用户休息时间、就餐时间、工作时间及上下班时间等。这8个时段的通话统计结果如图2所示，为了优化展示，图2显示随机抽取十分之一的用户通话数据，纵轴与横轴分别代表平均通话时长与个别用户。经过统计结果，75%的用户的通话行为模式是早上6点以后开始使用手机，在两个时段“9点至12点”及“15点至18点”处于通话高峰，在18点至21点之间仍有相当高的通话量，晚上9点后则通话趋缓。
图 2 一天8个时段的通话时长分布(图中横线为各时段的四分位线)利用这时段的切割具体分析每位移动用户的通话行为，将个得到该用户隐性的特征。举例来说，以“21:00-24:00”时段中，将通话时长最长的用户一天的通话数据作展示分析，如图3所示。该用户一天内平均通话时长比较80%的用户高，早上6点前，该用户处于不通话的状态，随后的时间段通话量即高出90%的用户，而在后面5个时间段里皆是通话时长最高的用户。由此可知，该用户是生活规律型上班族，而且全天均有大量通话行为，推测该用户的工作业务与通话的相关度较高，同时在下班时段也有很多公务及私人通话的需求。综合以上的统计，不同用户间的通话习惯差别很大，本研究利用这8个时段的平均通话时长作为分析参数之一。
图 3 某用户一天的通话时长折线图
3.3 网络请求量
与通话量的特征选取方法一样，利用平均网络请求次数、各时间段的网络请求分布作为描述用户上网习惯的特征，将一周上网请求次数总和除以天数作为平均每天网络请求次数。经统计的结果，用户每天的平均网络请求次数为313.39次，而且四分之三的用户平均每日网络请求次数维持在382.14次以下。请求最多的用户高达到13845次。本研究依然利用8个时间段作为用户一天上网请求行为的分析。80%的用户的移动上网请求多数是在早上6点以后，且在“9点至12点”、“12点至15点”及“15点至18点”三个时段处于上网高峰，18点以后渐渐趋缓。说明多数人利用白天或上班时间移动上网，晚上则改成其它方式使用网络或从事其它活动。
3.4 位移量
（1）基站与位移量的计算
由于该批数据的限制，缺少用户每个时刻的基站位置，只具有
通话及上网请求时的基站位置记录，因此，本研究利用通话及上网请求行为中所使用的基站数、各时段使用的基站数和位移量这三个特征来描述用户一天的运动情况。该批数据中，多数用户一天的平均通信基站数比较少，只有3.68个，而75%的用户每天使用基站数在5个以下，尽管有个别用户一天的通信行为中出现的基站数在20个以上。同时，统计不同时间段的平均基站数后，以连续5个时间段”6点至21点”中，每时间段内出现的基站数超过2个即判定为全天都有移动行为的用户占55.44%。本研究利用取得的基站位置粗略表现为用户运动的距离，假设用户在一天中第一次发起请求所在基站为A，随后发起请求的基站分别为B、C、D、以及最后的基站E，则该用户一天的总移动距离为
(1)经过这各距离运算公式，统计出所有用户每日平均移动距离为31.62公里，有68.67%的用户移动距离低于平均值。
（2）生活熵
除了上述的各项移动用户的特征参数以外，本研究利用生活熵作为刻画用户移动规律的重要特征参数之一。生活熵大的用户移动轨迹相对不规则，难以预测。而生活熵小的用则否，在特定时间粒度下有固定的行为模式。生活熵是将用户的移动信息视为离散时间序列。假设为时间指标所在的位置，则该用户的生活熵的表示式如下:
其中为用户位置信息总共的时间段，以及为所有的位置集合。图4将显示生活熵的统计结果，纵轴与横轴分别代表相应用户数与全体用户的比例与生活熵。结果显示75%的用户生活熵低于16，由于生活熵低于20的用户是属于移动规律或甚至较少出门，因此能够得知该市至少75%的用户生活规律，并容易预测其运动轨迹。
图 4 生活熵分布图
4 移动用户的聚类与分析
经过对这批数据的统计与分析后，提取出上述的特征参数。本研究使用Z-score 算法对这些特征参数先进行归一化处理，再用K-Means聚类算法迭代25次之后，经过对聚类中心的分析，将聚类出的四类用户结果分别与消费能力、通话量、网络请求量、位移量的特征参数关系展示在图5。
图 5 聚类类型与特征关系图
规律通话型用户有规律的日常活动，每日的移动量与移动路线大同小异，平均生活熵低，90%以上的用户使用电信运营商提供的动感地带品牌，使用的手机系统种类多且相对均匀，平时利用手机移动上网需求少，而在上下班时间网络请求占的比重稍高，表示用户平时多有处于具有无线上网的区域停留，进而可判断这类用户以固定坐班的上班族和以通话业务为主的商务人士为主。另外，这类用户尽管通话次数较少，但平均通话时长高。随机上网型用户的平均生活熵高表示日常移动量大，没有规律移动量与行动路线，80%以上的用户使用电信运营商提供的动感地带品牌，而且使用的手机系统种类以苹果机为主，使用手机移动上网的需求量是这四类中最高的，进而能够判断这类用户属于年轻群体或高消费族群的移动上班族。居家节约型用户的生活熵和位移
量均最低，95%以上的用户使用电信运营商提供的神州行品牌，使用的手机系统中普通系统或其它安卓系统占70%以上，平时利用手机移动上网需求也很少且请求的时间均匀，而且通话量与通话时长是四类用户中最少的，表示用户平时多在某些地区停留，并只用手机进行简单的通话与交流，不常以手机作为上网的工具，且消费能力普通，进而可判断这类用户以退休老年人、家庭主妇、青少年或小孩等为主，不善使用高端手机的人群。随机高消费型的聚类用户数是四类中最低的，但这类用户在消费能力和位移量两个维度下与其它类差异明显。这类用户通话花费高，40%以上的用户使用电信运营商提供的全球通品牌，使用的手机系统多以高端安卓与苹果系统为主，除了通话量与平均通话时长都是四类中最高的，平时利用手机移动上网需求也非常高，通话、上网请求都不与上下班时间有明显的关系，加上这类用户的生活熵与平均移动量都是四类最高的，表示用户平时多处于移动状态，利用手机移动上网与通话的需求量大，进而可判断这类用户有大量业务需求的商务人士或无固定上班时间的高阶主管。
5 结语
本研究对12月一周的一批移动用户的基本信息、通话记录、上网记录、以及使用基站地理位置等记录进行了分析，经过消费能力、通话量、网络请求量、位移量四个维度提取用户行为的14个特征，归一化处理后，利用K-Means算法聚类，得出四个具有比较明显特征的用户类别：规律通话型、随机上网型、居家节约
型和随机高消费型。利用这分类模型，总结每类移动用户特征与提出相关的服务建议，提供电信运营商或相关企业强化用户需求的服务内容。
1.规律通话型用户，日常生活比较规律，消费能力普通，上下
班时间网络请求比重高。针对这一类用户，建议电信运营商能够提供综合性优惠套餐，例如将通话、上网流量的优惠配合简单型手机的捆绑销售。同时基于用户位置推送实时周边信息（点评推荐、优惠信息、订购信息、餐饮信息等），以及配合实时的天气、交通信息提高用户使用的兴趣。
2.随机上网型用户，行动比较没有规律，平均移动量比较大，
用户消费能力比较高，且有使用网络的需求。由于这类用户有年轻化与追求流行的趋势，建议能够提供优惠的流量套餐，推送新潮商品的信息（数字产品、流行服饰、媒体影音等），以及配合实时的电影院、餐厅等优惠信息提高用户使用的兴趣。
3.居家节约型用户，日常生活比较单纯，消费能力低，在通话
和上网方面需求量小。建议电信运营商能够提供家庭优惠套餐，将通话、上网流量配合对应的用户共同分享数据量与信息。同时基于用户位置推送与其它用户实时共享信息，以及配合家用电器、学习资讯及快餐、超市商场优惠信息提高用户使用的兴趣。
4.随机高消费型用户，消费能力和日常移动明显比其它类用户
高，活动路径也不规律，通话与使用网络的需求也是最大的。建议电信运营商能够配合高端商场与百货公司提供线上线下(O2O, On-line to Off-line)的应用服务，同时基于用户位置推送高端商品、理财的优惠或即时信息（黄金珠宝、实时股市、银行交易等）提高用户使用的兴趣。
随着移动用户数量的快速增长，基于地理位置结合通信与上网数据挖掘已成为移动用户行为分析领域的热点研究方向之一。由于移动用户的数据请求时间不连续，信息需求的地域性强，经过移动智能终端设备记录用户的地理位置信息，合并电信运营商的数据，加以模拟用户轨迹预测用户下一个位置，将用户通话内容、使用互联网与应用服务的日志等数据信息相结合用户行为分析后，进而提供个性化的服务是未来移动用户行为研究的一个重要方向。
参考文献：
[1] Hung C C, Peng W C. A regression-based approach for mining user movement patterns from random sample data[J]. Data & Knowledge Engineering, , 70(1): 1-20.
[2] Zhu Y, Zhang Y, Shang W, et al. Trajectory enabled service support platform for mobile users' behavior pattern mining[C]. Mobile and Ubiquitous Systems: Networking & Services, MobiQuitous, . MobiQuitous' 09. 6th Annual International. IEEE, : 1-10.
[3] Akoush S, Sameh A. Mobile user movement prediction using bayesian learning for neural networks[C]. Proceedings of the international conference on Wireless communications and mobile computing. ACM, : 191-196.
[4] 谭钧元, 宋国杰, 谢昆青, 等. 一种有效的基于生活熵的移动用户分类算法 [J]. 计算机研究与发展, , 46(46): 433-438.
[5] Shad S A. 移动用户轨迹与行为模式挖掘方法研究[D]. 中国科学技术大学, .
[6] 梁鹏, 李兵, 郭文君. 移动数据业务用户行为模型研究[J]. 中兴通讯技术, , 11(4): 70-74.
[7] 吕洋. 基于用户行为数据分析的移动互联业务推荐模型[D]. 华中科技大学, .
[8] Liu Y, Yuan P. A study of user downloading behavior in mobile Internet using clickstream data[C]. Intelligent Information Technology and Security Informatics (IITSI), Third International Symposium on. IEEE, : 255-257.
[9] Zhao G, Lai W, Xu C, et al. Analysis of User Behavior in Mobile Internet Using Bipartite Network[C]. Mobile Ad-hoc and Sensor Networks (MSN), Eighth International Conference on. IEEE, : 38-44.
[10] 赖志伟, 梁勇华. 移动互联网用户行为分析[J]. 科技风, , 27(4): 249-249.
[11] 李勇, 徐振宁. Internet 个性化信息服务研究综述[J]. 计算机工
程与应用, , 38(19): 183-188.
[12] 王国霞, 刘贺平. 个性化推荐系统综述[J]. 计算机工程与应用, , 48(7): 66-76.
[13] Yava? G, Katsaros D, Ulusoy ?, et al. A data mining appr oach for location prediction in mobile environments[J]. Data & Knowledge Engineering, , 54(2): 121-146.
[14] McKinney W. Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython[M]. " O'Reilly Media, Inc.", .
[15] Moe W W. Buying, searching, or browsing: Differentiating between online shoppers using in-store navigational clickstream[J]. Journal of consumer psychology, , 13(1): 29-39. [16] Z Zhao G, Shan Q, Xiao S, et al. Modeling web browsing on mobile internet[J]. Communications Letters, IEEE, , 15(10): 1081-1083.
[16] Xu K, Wang F. Behavioral graph analysis of internet applications[C]. Global Telecommunications Conference (GLOBECOM ), IEEE. IEEE, : 1-5.
大数据分析在移动通信网络优化中的应用分析 发表时间：2018-09-10T10:14:18.157Z 来源：《基层建设》2018年第19期作者：罗聪 [导读] 摘要：信息时代发展过程中，大数据与云计算技术逐渐成为时代的主流之一，并且发挥着日益重要的作用，在当前的移动通信网络系统中的应用也发挥了重要效果。 广州市汇源通信建设监理有限公司广东省广州市 510620 摘要：信息时代发展过程中，大数据与云计算技术逐渐成为时代的主流之一，并且发挥着日益重要的作用，在当前的移动通信网络系统中的应用也发挥了重要效果。因此本文首先分析与探讨大数据分析技术对于移动通信网络优化而言的重要意义，进而就移动通信网络优化过程中的大数据分析技术的有效应用进行分析。 关键词：大数据分析；移动通信网络；网络优化 前言： 网络环境下，移动通信技术的不断发展，进一步拓宽了移动通信网络的覆盖范围，这种情况下，大数据技术的有效应用进一步提高了移动通信网络的应用效果，推动了移动通信网络的不断完善，也使得移动通信网络对于大数据分析技术的应用提出了更多的要求。因此，探讨移动通信网络优化诉求下的大数据分析技术应用就成为必要的了。 1.大数据分析对于移动通信网络优化的影响 有数据表明，大数据分析的应用，可以进一步推动移动通信网络的有效优化，但同时也会增加移动通信网络故障的复杂性；可以帮助及时发现移动通信网络中的问题，但同时也导致移动通信网络故障的解决难度进一步提高。在移动通信网络环境下，网络优化的主要目标在于通过对于数据信息的有效收集与分析，减少外界环境下的干扰性因素，减少故障问题的产生，并且进一步实现故障问题的有效排除，进一步保障移动通信网络的安全性。大数据技术的有效应用，为移动通信网络结构的建设提供了更多的可能性。 大数据时代下，移动通信网络的建设与应用，使得海量数据信息得以产生与应用，并且在一定程度上成为现代生产生活的重要支撑，进一步提高了社会生产生活的效率与质量，这种情况下，人们对于移动通信网络的安全性与稳定性提出了更高的要求。大数据分析技术的应用进一步提高了移动终端的更新迭代速度，使得移动通信终端应用的更新速度进一步提升，也有效提高了通信网络、移动终端与应用软件的功能性与优质性。在移动通信网络发展的过程中，对于网络的安全性与可靠性的要求不断提升，为此就需要更加充分地运用大数据分析技术。 2.移动通信网络优化中的大数据分析应用路径 2.1采用阶段性应用策略 如上文所述，移动通信网络优化过程中，大数据分析技术可以起到很大的推动效果。基于此，为了更好地发挥大数据分析技术在移动通信网络优化中的作用，可以采用阶段性技术应用策略。首先在准备阶段，在移动通信网络优化的过程中，就大数据分析技术的优化目标加以明确，并且根据优化目标合理选择相应的优化工具与优化方法；其次，在测试阶段，需要充分收集与运用相应的数据信息，通过对于数据信息的有效对比与分析，以此为基础开展移动通信网络的驱车测试，更好地明确大数据分析技术的应用效果；再次，在分析阶段，需要通过对于大量数据信息的深入分析，明确故障问题，并提出应对与解决办法；最后，在调整阶段，应当对天线射频与后台参数进行及时有效的优化与调整，在这个过程中，调整后台参数可以确保移动通信系统的有效运行，及时发现错误参数并且加以调整。对于天线射频的有效调整可以进一步提高移动通信网络在区域内的通信质量与效率。因此，在实际的技术应用中，通过对于天线射频与优化参数，来进一步提高移动通信网络通信质量与通信效率，减少故障问题发生的概率[1]。 2.2对数据分析方法加以优化 探讨移动通信网络优化中的大数据分析的有效应用，还需要从数据分析方法入手，提高数据信息的收集与分析质量，如果移动通信网络区域客户业务的开展涉及到较多的信息号，需要通过行之有效的重点分析，合理提出相应数据，进一步提高数据分析质量与分析效果，实现移动通信网络在数据提出方面的创新，提高数据信息的分析质量。通过对于数据的侧重化处理与优质分析，可以实现移动通信网络的优化程度得以提升，通过相应的测试内容与测试方式来推动技术的整体性发展。明确数据信息开发的重要性，对于数据信息进行虚拟化的整合处理，通过虚拟化的数据处理方式实现数据扩展，有效实现平台化的多元数据整合，实现多种数据信息的合理整理与存储，实现整体网络构架的优化，提高数据信息应用的整体性与移动性。在测试过程中，通过更加专业的系统目标的构架与优化，制定合理有效的工作方法，在准备工作完成之后，就数据信息进行有效的采集与测试，合理调整数据参数，以此为基础实现数据指标的优化。
中国移动客户行为分析 配额记录表： T.1 整体而言，你会怎样评价中国移动这家公司提供的产品和服务呢？您认为是… (访问员注意：读出所有答案，但不要读“拒答”和“不知道”) 非常好 (5) 很好 (4) 好 (3) 一般 (2) 差 (1) 拒答 ..................................................................................................... 8（终止访问） 不知道 .................................................................................................. 9（终止访问） B.1 过去六个月内, 您都使用过哪些业务? (包括您在这六个月内曾使用过，现在可能没有用) ( C.1 请问您有没有通过营业厅、网站、热线、短信、邮寄帐单等渠道获取过您手机的话费信息？ 有......................................................................................................... 1继续访问 没有 ..................................................................................................... 2跳问D4题 D.1 请问您是否亲自交手机话费？（单选） 是 (1) 否......................................................................................................... 2跳问E1 D.2 请问您最常通过什么渠道交您的手机话费呢？（单选，不读出交费方法） 中国移动的营业网点 (1) 中国移动发行的交费卡/充值卡 (2)
数据挖掘实验报告基于用户网站点击行为预测
...数据挖掘实验报告. (1) 一．概要： (3) 二．背景和挖掘目标： (3) 三．难点分析： (4) 四．难点解答： (4) 五．数据采集： (5) 六．分析方法： (6) 七．数据探索： (8) 7.1数据无效： (8) 7.2数据缺失： (8) 八.数据预处理 (9) 8.1数据清洗 (9) 8.2数据丢弃 (10) 8.3数据转换 (10) 九．挖掘过程： (11) 9.1计算用户爱好 (11) 9.2基于协同过滤算法进行预测 (12) 十．结果分析： (13) 十一.实验总结 (14) 11.1数据的采集 (14) 11.2在试验过程中遇到的问题 (14) 11.3解决方案以及改进 (14) 11.4数据挖掘学习体会： (15)
一．概要： 这次的数据挖掘我们团队做的是基于用户网站点击行为预测，其中遇到的问题有数据量大，机器难以处理，含有时序关系，特征难以描述等，我们运用正负样本比例平衡的方法和时间衰减函数来解决这些问题，运用到的算法有基于协同过滤算法进行预测。 二．背景和挖掘目标： 随着互联网和信息技术的快速发展，广告的精准投放一直是各大广告商面临的问题。点击网络广告的一般有两类人。第一种是不小心点错的，相信大部分人都是不喜欢广告的，但由于网络的互动性，仍然会有部分人把广告当内容点击，其中网站诱导用户点击占了很大一部分比例。第二种是真的想看广告内容，这部分人对广告的内容感兴趣，或是符合他们的需求，才会点击网络广告。认真去研究这两类的行为，进行广告个性化的投放将产生巨大的价值。 基于这个背景，本次课题我们进行了网站点击行为的数据挖掘。数据来自网络，包含了2015年1月1日-2015年6月22日间广告曝光和点击日志。目的是预测每个用户在8天内即2015年6月23日-2015年6月30日间是否会在各检测点上发生点击行为。 利用数据挖掘技术可以帮助获得决策所需的多种知识。在许多情况下，用户并不知道数据存在哪些有价值的信息知识，因此对于一个数据挖掘系统而言，它应该能够同时搜索发现多种模式的知识，以满足用户的期望和实际需要。此外数据挖掘系统还应能够挖掘出多种层次（抽象水平）的模式知识。数据挖掘系统还应容许用户指导挖掘搜索有价值的模式知识
大数据分析在移动通信网络优化中的应用研究叶国樑 摘要：大数据信息管理系统与操作模式，随着社会生产工作需求，早已应用于 社会各行各业工作管理体系中。而移动通信作为人们日常交流工作的重要途径， 在许多时候由于庞大的人口基数，以传统的信息处理系统，难以保障移动通信工 作的正常运转。另外移动通信管理工作中，繁多的管理工作，整理客户资料一直 也是运营商管理工作难题之一。利用大数据管理系统整合客户数据，以及提高通 信管理工作。对于提升移动通信中的通信质量具有明显效果，有助于帮助运营商 处理工作内容，管理通信数据。 关键词：大数据；移动通信；实际应用 引言 我国已经进入移动通信高峰时期，移动通信业从2G发展到4G。移动通信已 经极大地改变了现代人的生活，我们在关注移动通信发展的同时，也要求其提供 优质的服务，关注移动通信质量问题。大数据时期，移动通信故障解决办法增多，但同时，移动通信业面临着更大的冲击，如何正确发挥大数据在移动通信网络中 的作用，是现阶段通信运营商的主要任务。 1 大数据分析在移动通信网络优化中的问题 1.1数据问题 目前大数据技术在优化移动通信网络过程中存在的问题之一，就是数据量过 大的问题。在移动通信网络的发展过程中，随着用户数量的增加、网络范围的增大，移动通信网络产生的数据量也在大幅度的增加。根据相关调查研究发现，全 球数据总量正以每两年翻一番的速度高速增长。与此同时，移动通信网络产生的 数据量也不容易忽视，这就加大了从巨量数据中提取有用信息的难度，成为当前 优化移动通信网络工作的重要障碍之一。 1.2资金问题 现下大数据技术在优化移动通信网络过程中存在的另外一个问题，是资金缺 乏的问题。基于大数据分析实现移动通信网络的优化，不是一蹴而就的，它需要 经历一个复杂的系统数据分析过程。具体实施过程中，难免会因为不同地区的数 据结构差异等问题综合考虑，使移动通信网络的建设成本加大，从而造成资金缺 乏的问题。如果没有足够的资金支持，实现移动通信网络的优化则无从谈起。 1.3安全问题 当前在优化移动通信网络过程中，大数据技术同样面临着安全问题。大数据 分析势必要对数据进行处理、分析和存储，如果大数据技术出现安全漏洞，那么 直接会对移动通信网络造成不同程度的影响，甚至导致网络局部瘫痪。在大数据 分析中，主要通过云储存技术进行存储。尽管云储存技术可以实现巨量数据的云 端储存，但是云端数据的信息安全难得到有效保证，数据丢失的风险依旧存在。 2 大数据分析在移动通信网络优化中的应用要点 2.1大数据时期的分布式文件系统技术 大数据时代使移动通信网络分布系统存储、分析能力得以提高。目前，先进 的分布式文件系统、如Hadoop系统已经开始应用并取得了很好的效果。HDFS的 采用主从结构，具有强大的功能。该集群由NameNode和Client客户端构成。其中，NameNode是移动通信网络的管理者，负责对数据进行整理和管理。大数据 时期，数据的存储与分析十分重要，海量的数据只有通过分析才能判断有效与否。NameNode实现了移动通信网数据的本地存储、整理和发送，从而保证了接收端
科技创业家 理 论 研 究 ２０１４年０１（下） ＴＥＣＨＮＯＬＯＧＩＣＡＬ ＰＩＯＮＥＥＲＳ １２５ 科技创业家 ＴＥＣＨＮＯＬＯＧＩＣＡＬ ＰＩＯＮＥＥＲＳ１ 引言 随着新一代信息技术的融合发展，物联网、移动互联网、数字家庭、社会化网络等应用使得数据规模快速扩大，处理和分析大数据的的需求日益旺盛，兴起了大数据热潮，使得大数据领域飞速发展。反过来，大数据的分析、处理、优化结果又反馈到生产实际当中，进一步改善了生产效率，进而推动新一代信息技术产业的向前发展。根据美国德克萨斯大学对各个行业和大型企业的数据利用率和人均产出率进行的广泛研究得出如下结论：数据分析实用效率每提高１０％，财富１００强中的企业人均产出提高１４．４％，零售行业人均产出分别提高４９％，咨询服务行业人均产出分别提高３９％，传统行业人均产出都可提高２０％以上。由此可见，伴随着我国国民经济的快速发展，急需加强在大数据领域的基础研究和技术发展，促进我国经济又好又快发展。早在２０１０年１０月，国家发改委、工信部就联合发布通知，确定在北京、上海、深圳、杭州、无锡开展云计算服务创新发展试点，明确了国家发展云计算的总体思路和战略布局。 在１９８０年美国社会思想家托夫勒的《第三次浪潮》中就预言到，“如果说ＩＢＭ的主机拉开了信息化革命的大幕，那么大数据则是第三次浪潮的华彩乐章”。２０１１年麦肯锡全球研究院发布研究报告，“大数据”一词首次正式被提出，这份报告讲解了处理这些数据能够释放出的潜在价值，认为对大数据的分析与挖掘，会在经济生活中产生巨大效益，从此，全球开始了对大数据的前所未有的关注。近几年来，《Ｎａｔｕｒｅ》和《Ｓｃｉｅｎｃｅ》等国际顶级学术刊物相继出版专刊探讨大数据的研究，报道人类已迈进ＰＢ（１０１５）规模的大数据时代，并从互联网技术、环境科学、生物医药等方面介绍了大数据所带来的技术挑战。同时，２０１２年美国政府宣布启动“大数据计划”，包括ＮＳＦ、ＮＩＨ、ＤｏＥ、ＵＳＧＳ等六家美国联邦机构将首期资助２亿多美元用于大数据相关研究及工具和技术的研发，这是继１９９３年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，美国政府认为大数据是“未来的新石油”，把大数据研究上升为国家发展战略。当今全球的数据量已达到ＺＢ（１０２１）级，数据正以前所未有的速度在不断的增长和累积，但是人类对这些数据的利用率却很 低。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生了浓厚的兴趣。我国也高度重视大数据技术的产业发展，特别是近期，中国研制的天河二号超级计算机系统，成为全球最快的超级计算机，计算速度达到每秒３．３９ⅹ１０１６次双精度浮点运算，进一步加强了我国大数据科学研究的基础设施，为促进大数据应用开发奠定基础，为我国在大数据领域掌握了竞争主动权。 大型ＩＴ跨国企业成为发展大数据处理技术的主要推动者，如ＩＢＭ、Ｏｒｅｃａｌ、Ｍｉｃｒｏｓｏｆｔ、Ｇｏｏｇｌｅ、Ａｍａｚｏｎ、Ｆａｃｅｂｏｏｋ等企业，均已发布了应对大数据的挑战的相关解决方案。特别是ＩＢＭ公司，早在２００５年就提出了智慧地球的概念，阐释了不仅能从大数据的分析中获取洞察力，更能将这些洞察力转化为强有力的行动。通过查找、可视化和了解所有大数据可以改进决策制定过程；通过分析各种各样的机器数据和运营数据，以获得更好的业绩；通过整合其他内部和外部信息扩展现有的客户视图；通过整合大数据和数据仓库，提高操作效率；通过实时监控网络安全，检测欺诈，降低风险。ＩＢＭ将数据分析作为其大数据战略的核心，其海量数据分析平台ＩｎｆｏＳｐｈｅｒｅＢｉｇＩｎｓｉｇｈｔｓ等相关产品经过了一系列创新，可以更好地支持大数据处理。全球最大的社交网站Ｆａｃｅｂｏｏｋ，利用社交网络收集了海量用户行为和网络群组关系数据，将这些海量数据利用用户行为分析系统分析出海量用户的行为习惯，定向对不同用户群组发布针对性的广告，获得了巨额收益。大型数据库软件开发公司Ｏｒａｃｌｅ，在现有的数据库产品中引入数据挖掘和分析技术，再配合其大型的云计算中心，组成大数据系统解决方案。 ２ 大数据应用实施关键技术 大数据技术涉及计算机、应用数学等 几乎所有的学科领域。大数据关键技术不仅包括数据存储与分析技术等核心技术，也包括数据处理、数据管理、数据呈现等重要技术。近年来掀起的云计算热潮，已经应用于社会生产的各个方面。 数据存储方面，亚马逊公司是先行者，它的Ｓ３云服务已经成为了云存储的业界标准。无论在用户使用、商业模式、所提供服务的便捷性和规模增长，亚马逊公司都为 这些领域提供了经典范例。还有围绕ＮｏＳＱＬ的新技术和模式，１０ｇｅｎ的ＭｏｎｇｏＤＢ，ＤａｔａＳｔａｘ的Ｈａｄｏｏｐ构建方案Ｃａｓｓａｎｄｒａ，ＮｏＳＱＬ数据库技术提供商Ｃｏｕｃｈｂａｓｅ等等。 数据处理方面，Ｈａｄｏｏｐ公司的ＧｏｏｇｌｅＭａｐＲｅｄｕｃｅ的大数据分布式处理架构是大数据生态系统的主角，许多的商业和产品的创新也围绕这个架构产生。如由雅虎分拆的ＨｏｒｔｏｎＷｏｒｋｓ，有Ｈａｄｏｏｐ创始人ＤｏｕｇＣｕｔｔｉｎｇ坐镇的Ｃｌｏｕｄｅｒａ，提升Ｈａｄｏｏｐ速度的ＭａｐＲ等。 数据分析技术包括数据挖掘、机器学习等人工智能、商业智能技术，涉及关联规则挖掘、集成学习、遗传算法、神经网络、优化、模式识别、预测模型、回归、统计、时间序列分析、关联规则学习、聚类分析等。数据挖掘技术，是指通过分析每个数据，从大量数据中寻找其规律的技术，它是一组结合数据库管理的统计和机器学习方法从大数据集提取模式的技术。机器学习技术，是使计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 大数据技术是一系列技术的集合，任何单一的软件产品都无法完全解决大数据问题，需要一整套全面的解决方案。需要各种应用系统能够根据需要获取计算能力、存储空间和各种软件，并通过各种网络传递给各种使用者。 ３ 信息通信业大数据发展现状 ３．１信息通信业数据业务特征与需求分析 巨大的用户基数。电信业务已经成为人们生活中的必需品，用户数量非常巨大，整体市场饱和程度逐步提高。截至２０１３年６月底，我国网民数量达到５．９１亿，手机网民规模达４．６４亿，网民中使用手机上网的人群占比提升至７８．５％。 拥有数据资源。随着３Ｇ的普及，无线上网和智能手机得到了高速发展，手机上网流量迅速增长，导致电信行业数据量呈现爆炸性增长。电信运营商通过部署相应数据挖掘的技术可以获得几种数据类型。一是人用户入网登记数据，主要包括在登记时提交的个人姓名、性别等数据、手机号码、ＩＥＭＩ、状态码等数据。二是计费系统记录的数据，主要包括用户的套餐选择数据、资费数据、消费历史等。三是以用户位置数 大数据在移动通信中的应用探讨 谢华 （联通通信建设有限公司上海分公司 上海 ２０００５０） 摘 要：互联网的快速发展，计算机运算处理能力的日益强大，云计算和数据中心的兴起，促使大数据时代快速到来。如何充分有效利用大数据技术，获取其中蕴藏的巨大价值，这些已经成为大数据时代所面临的主要任务。通过大数据分析技术的创新发展，可以极大增强国民经济可持续发展动力。本文首先对目前主要的大数据分析方法、技术和应用进行了分析；进而对移动通信业大数据分析的前景进行展望；最后阐述了我们在移动通信业大数据应用方面的几点建议。关键字：大数据 移动通信 数据分析 作者简介：谢华（１９７７—），男，山西朔州人，大学本科，联通通信建设有限责任公司，工程师，主要从事通信网络建设工作。
一、什么是用户行为分析： 用户行为分析：在获得网站访问量最基本数据的情况下，对有关数据进行统计、分析，从中发现用户访问网站的规律，并将这些规律与网络营销策略相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步的修正或者是重新制定网络营销策略提供依据。 以上只是很多种情况中一种———-针对网站的用户行为分析。那么，对于目前的互联网行业成千上万的产品，我们又该如何重新定义用户行为分析呢？重新定义的用户行为是什么呢？ 1、分析用户行为，那我们应该先确定用户群体特征； 2、用户对产品的使用率。网站类产品主要体现在点击率、点击量、访问量、访问率、访问模块、页面留存时间等等；移动应用产品主要体现在下载量、使用频率、使用模块等等； 3、用户使用产品的时间。比如用户基本是每天中的什么时候使用产品。 综合以上说说的几点，其实用户行为分析可以这样来看：用户行为分析就是对用户使用产品过程中的所有数据（包括下载量、使用频率、访问量、访问率、留存时间等等）进行收集、整理、统计、分析用户使用产品的规律，为产品的后续发展、优化或者营销等活动提供有力的数据支撑。 二、用户行为分析方式都有哪些？ 既然是对用户的行为进行分析，那么在得到数据后，我们需要如何进行行为分析呢？分析方式有哪些呢？这里我们主要从几个维度来分析：方式、侧重、优缺点。应该具体从何开始呢？我们先说说用户行为分析的方式： 1、网站数据分析。通过对每个模块的点击率、点击量、访问量进行数据捕获，然后进行分析； 2、用户基本动作分析。用户访问留存时间、访问量等； 3、关联调查数据分析。主要在电商上的相关推荐、你可能喜欢等等； 4、用户属性和习惯分析。对用户属性和用户习惯两个维度进行分析。用户属性包括性别、年龄等固有的；用户习惯包括用户的一起喜爱度、流量习惯、访问习惯等等； 5、用户活跃度分析。 综合以上可以概括为：以数据分析为导向、以产品设计反馈为导向、以对用户的调查为导向。通过上面的分析方式，我们需要整理出每种方式的分析侧重点。那么，下面我们谈谈用户行为分析的侧重点，主要有以下几点： 1、网站数据分析的侧重点：数据监测、挖掘、收集、整理、统计。 2、用户基本动作分析侧重点：统计用户基本信息，比如：性别、年龄、地域，分析用户群体； 3、关联分析侧重点：分析数据为精准营销提供数据支撑； 4、用户活跃度侧重点：主要是用户的使用频率进行分析，可以得出分析为什么用户喜欢使用这个产品这个功能。 三、用户行为分析的工具有哪些？如何做好用户行为分析？ 工欲善其事必先利其器，我们知道了我们需要做什么事情，那么我们应该用什么工具来提高效率呢？
上网行为管理的定义 帮助互联网用户控制和管理对互联网的使用，包括对网页访问过滤、网络应用控制、带宽流量管理、信息收发审计、用户行为分析； 为什么要管理上网行为 “随着互联网的发展，它已经到了必须控制和管理的时代，因为网上充满了错误的信息、虚假的信息，和非民主的力量。”----蒂姆?伯纳斯?李（互联网之父） 水能载舟亦能覆舟!互联网一方面能够帮助企业提高生产力、促进企业发展；另一方面也在企业管理、工作效率、信息安全、法律遵从、IT投资等方面给企业提出了严峻的问题与挑战。 问题1：网速为什么越来越慢？ 在办公室里经常会听到有人抱怨“网速为什么这么慢？”，几乎所有的企业都存在这样的问题。那么企业花钱租用的10M甚至100M带宽都被用在哪里了？为什么带宽不断扩充，而网速并没有明显改善？ 真相：带宽资源也许正被滥用! 根据联通公司发布的一份调查显示：以迅雷、BT、eDonkey、KaZaA等为代表的P2P应用，消耗了40%以上的有效网络带宽。而在企业租用的有限带宽里，充斥着大量P2P下载、网络电视等应用流量，导致大量带宽被非工作应用所占用。而且，由于P2P的应用特征，使得企业高额投资的带宽成了互联网公共服务。 谁？在什么时间？可以拥有多少带宽资源？可以使用哪些网络应用？ 问题2：网络安全事故为什么防不胜防？ “堵漏洞、砌高墙、防外攻、防内贼，防不胜防”，防火墙越“砌”越“高”，入侵检测越做越复杂，病毒库越来越庞大，身份系统层层设保，却依然无法应对层出不穷网络安全威胁，难道那么多安全产品都是摆设？ 真相：安全隐患来自内部员工! 无论如何豪华的防线，一个漏洞就可以毁灭所有一切。Meta Group发布研究报告称：“持续增长的安全威胁源自您的员工”。内部人员通过互联网与外部通讯时，可能会引入含有恶意的或者攻击性的内容，如若未能得到监测和控制，这将成为企业的一大隐患。并且充满诱惑的网络资源往往是风险的发源地。 谁？在什么时间？是否可以上网？是否阻止访问可能含有安全风险的网络内容？ 问题3：办公室为成了免费网吧! 据一项调查显示，普通企业员工每天的互联网访问活中40％与工作无关，对色情等非法网站的访问量70％都发生在工作时间。上班时间“上网休闲”已经成为普遍现象，聊天、游戏、炒股、购物、BBS、电影、博客等无时无刻不在抢占正常的工作时间，办公室因此沦为不需要花钱的“网吧”。 谁？在什么时间？可以用什么应用？不可以访问什么网站？ 约束员工在互联网上的行为，其实是在帮助员工匡正工作行为，丢弃不好的习惯，成为一个
大数据在移动通信中的应用研究 随着移动通信技术的飞速发展和国家政策对通信技术的产业的规划指导，目前我国的移动通信网络技术的规模已经位居世界前列。移动通信网络技术的技术发展是循环往复的，虽然对于移动通信网络技术的优化处理工作还处于最后阶段，但是和移动通信技术的后期规划是相互联系的。 一、移动通信中的大数据发展情况 1.1大数据在移动通信业务中的应用特征 由于社会经济的发展和时代的需要，移动互联网业务已经成为人们生活中的必需品，用户的数量十分巨大，市场的饱和度也在不断地上升。移动通信业务中包含的数据信息随着4G网络的出现再一次得到的发展，移动终端的上网速度也得到了增长。移动通信运营商可以通过设置数据挖掘技术就可以得到几种数据资源。第一个是个人用户的上网登记许可，主要包括在登记时提供的用户姓名等个人资料以及手机的状态码等，第二个是将用户所在地的信息接入基站内获得用户的位置，第三个是手机计费系统所记录的数据，主要包括用户套餐的选择、和消费记录，最后一个是用户的动作数据，主要包括用户业务的使用类型、互联网的历史记录和经常使用软件的名称、上网时间等
信息。 1.2国外移动通信业中大数据的应用 对于移动网络的运营商来说，大数据所带来的收益是十分可观的，移动运营商在数据的探索领域遇到了个人隐私、网络安全和技术问题等其他方面的问题，但在现代社会，不论是国内还是国外他们的移动通信业务都开始向对大数据的出现做出相应的改变。在法国最大的移动运营商法国电信做出了基于大数据的新型业务模式，承担了该国大部分公共服务业的IT建设项目，在这些项目系统中，法国电信为了挖掘大数据的潜在价值，建立了一个法国高速公路监测项目，每天都会记录大约五百万条信息，只要完成对这些数据的分析就能很好为高速公路上的车辆提供可靠地道路信息，从而提高公路的运行效率。对数据的分析工作将是未来移动运营商的最主要的工作之一。 二、大数据在移动通信中的应用技术 1、大数据应用的技术。大数据存储技术的基础是基于云服务的云储存技术，NoSQL是云储存技术的基本模式和技术架构，在大数据存储的移动通信业务的使用中，通常情况下是将Hadoop作为基础，来架构移动通信大数据中的储存载体，这样的储存形式具有非常大的可扩展性，存储方便快捷、容量也十分可观，而且十分有利于后期对
●曹 梅1,2 ,朱学芳 1 (11南京大学 信息管理系,江苏 南京 210093;21南京师范大学 教育技术系,江苏 南京 210097) 用户信息行为的研究方法体系初探 3 摘 要:本文从研究方法学的角度,初步构建了用户信息行为的研究方法体系,揭示其基本特征和走 向,并详细阐述了各类实用数据采集技术和分析方法。 关键词:用户;信息行为;研究方法 Abstract:The paper constructs a tentative user inf or mati on behavi or research method syste m fr om the pers pec 2tive of research methodol ogy 1Its basic features and trend are discussed 1Vari ous data acquisiti on and analysis meth 2ods are expounded 1 Keywords:user;inf or mati on behavi or;research method 3本文为2008年教育部人文社会科学项目的系列研究成果之一,项目编号:08JA870009。 胡昌平、乔欢等在《信息服务与用户》中专门介绍了信息服务与用户研究的基本方法,包括直接调查与间接调查方法、统计测量分析、抽样方法、比较分析法、相关分析法、回归分析法、德尔菲法、马尔科夫分析法等,并通过实例分析揭示各类方法在情报学用户研究中的具体应用方式[1]。胡岷撰文介绍了当前在国外及我国台湾地区,研究人员在进行用户检索行为研究时惯常使用的研究方法,包括:问卷调查法、访谈法、小组讨论法、实验法、观察法、出声思维法和记录分析法等7种。胡岷认为,用户调查是用户研究中最重要的研究方法[2]。笔者认为,这些研究方法的归纳缺乏一定的科学体系,有必要从研究方法学角度,对用户信息行为研究方法的体系进行整体架构。 1 研究方法体系及其特征 111 研究方法体系 从研究方法学角度而言,研究方法包括研究策略、数据采集、分析方法三大部分[3]。研究策略是一种对内容研究而言的整体性方法,典型的研究策略有调查策略、定性策略、案例或行动研究策略以及实验策略等;典型的数据采集方法包括:结构化问卷调查、访谈、采访、小组讨论、出声思维等定量或定性的方法;在分析方法上,有统计分析、归纳性内容分析、数学分析等典型方法。见表1。 就用户信息行为研究方法而言,本文在相关文献分析 表1 用户信息行为研究方法体系 研究策略 数据采集分析方法 调查策略结构化问卷半结构化访谈定性策略主题采访观察法小组讨论时间线访谈出声思维法用户小组日志实验策略标准实验准实验设计网络策略系统日志文件 网络工具采集日志社会标签 统计测量分析: 描述性统计 回归分析比较分析相关分析归纳性内容分析: 话语分析关键事件分析数学方法: 马尔科夫分析法 基础上,尝试给出了一个研究方法体系。其中,在教育学和社会学中经常采用的“案例与行动研究”在信息行为研究中应用较少,未纳入该体系;而“网络策略”则因其特色应用而纳入进来,一些以计算机系统日志、网络日志采集工具、网络链接、社会标签等为代表的新数据采集技术正逐步应用到信息行为研究中来。 112 “走向定性”的特征 总体而言,20世纪80年代信息查寻理论和元理论方面的发展(如意义建构法)使研究策略和数据采集方法的重点发生了必要的转变[3],呈现“走向定性”的特征。 1960—1985年实验性信息查寻研究明显的特点是使 用了基于结构化问卷和访谈进行数据采集的定量调查,有
大数据分析在移动通信网络优化中的运用分析 近年来，移动互联网的应用开始兴起，对于这一类业务有需求的用户数量逐渐增多，对移动通信网络优化的要求也越来越高。文章针对目前我国移动通信网络优化的现状，提出了运用大数据帮助其优化的设想，通过分析具体问题提供了一些策略，希望帮助企业和政府更好地进行优化工作。 标签：大数据分析;移动通信网络;应用方法 一、大数据概述 大数据又叫巨量资料，顾名思义，信息量极大，足以和一般的信息数据组合区分开来，所以大数据需要不同于传统的信息资源处理方式来整理和分析，从而获得更加准确、可靠的信息。大数据分析技术的作用范围很广，能够帮助信息需求者更好地进行决策和工作。大数据的特点鲜明，除了数据量庞大，数据类型也很多，但是这些资源的价值密度却不高，特别是针对特定的任务或项目时，数据中可用的信息资源就只占很小一部分。此外，大数据的分析速度是传统的数据分析模式无法比拟的，依靠当今发达的云计算等技术，大大提高了分析效率。在移动通信网络的优化中，大数据可以发挥巨大的作用，通过对大量的用户信息和使用数据的分析整理，可以找到当前用户的使用需求，从而找到最需要改进的地方。 二、大数据分析在移动通信网络优化中的问题 1.数据问题 虽然现有的数据处理技术已经十分尖端，足以实现大数据的处理分析，但大数据中的信息量同样在呈几何状增长。随着互联网的普及，用户数量逐渐增加，网络的使用范围也开始扩大，使网络数据量巨量增长。在这种情况下，大数据的增长速度已经不容忽视。 2.资金问题 虽然大数据技术已经不再是不可触及的精简科技，但是这种技术依然无法得到大范围的使用，其中很重要的一个因素就在于缺乏资金。对大数据的分析不是简简单单的一个流程，其中所涉及的步骤是复杂且漫长的，需要耗费大量的人力物力。此外，各地区情况存在差异，不同的时间段也存在不同的问题，这就造成移动通信网络的建设难度很大，资金问题往往得不到很快解决。 3.安全问题 大数据分析是一个对数据进行整理、分析和存储的长时间的复杂过程，这当中一旦出现了信息泄露的情况，损失难以估量，甚至会造成大规模的社会恐慌，导致网络的瘫痪。目前对于大数据的存储和计算一般使用云技术，但云技术同样
网络环境下用户信息行为分析的现状研究 一、引言 随着互联网的普及和网上资源的丰富，网络用户增长迅速，工信部称，截至2012年第三季度，中国互联网用户达5.5亿人，同比增长44.1%，总规模达5万亿人民币，同比增长13.7%。网络环境下的用户信息行为与传统用户信息行为相比较，发生了很大的变化，无论是从网络接入方式、网络接入地点、上网时间还是从网民的年龄、性别、学历、职业等都呈现出不同的特性。[1]这对互联网的安全和管理都提出了严峻的考验，同时网络带宽和网络中流量迅猛增加，网络用户增长速度加快，因此如何在网络用户不断增加的情况下实现网络中海量数据的有效存储和处理以及发现网络数据中存在的网络攻击并做出有效的判断和处理成为网络安全研究的重点。[2]因此，有必要在网络环境下加强对网民上网行为的分析。 二、国外对网络用户信息行为分析的研究 国外对网络环境下用户行为的研究起步于20世纪80年代，主要是通过研究用户的行为特征和规律来实现网络监测和网站的优化。当前，国外对网络用户行为特征的研究转向单个网站的用户访问内容以及特定的目标人群的网络访问行为，从而实现网络体系结构的改进和网络资源的优化。国外研究网络环境下用户行为的模型主要有以下几种：用来刻画系统可见的外部行为的时序模型LOTOS；通过观测到的概率分布来表现观测向量的隐马尔科夫模型HMM；用于分析网络复杂性的网络用户行为模型GOMS；以及采用表格结构来描述用户和界面交互实体的UAN模型。[3] 三、国内对网络用户信息行为分析的研究 我国对网络用户信息行为分析的研究尚处于初步阶段，主要通过对服务器日志分析挖掘用户在查询、检索等方面所具有的行为特征，从而为入侵检测、网络行为审计以及网络复杂模型的分析等提供参考，从而实现网站优化、预测网络行为以及保障网络安全等。[4] （一）网络环境下用户信息行为的涵义 关于网络环境下信息行为的涵义，没有一个特定的概念，学界有很多不同的
淘宝用户行为数据分析报告（例）
01 分析背景 选取了2017年11月25日至2017年12月3日之间，有行为的约500名随机用户的所有行为（行为包括点击、购买、加购、喜欢），数据量约5万，分析了用户行为与商品规律。 02 分析思路
03 分析过程 3.1 前提 数据来源：阿里天池。 分析工具：MySQL 8.0，Navicat for MySQL。绘图工具：Excel。 对数据进行数据清洗后再进行进一步分析，处理过程略，下文中仅显示数据处理后结果，不展示处理过程。 3.2 整体数据 3.2.1 数据体量 3.2.2 整体数据概览 3.2.3 日均数据概览
从图中数据可以看出，12月2日和12月3日的日访客数和点击数较前几日更多，可能由于这两日为周末，且双十二临近，但访客数与点击数的提升并未影响成交量，因缺少后续数据，故暂时推测为这是为双十二活动预热。 3.3 用户分析 3.3.1 复购率和跳失率
复购率=购买次数>1的用户/所有购买用户 跳失率=点击次数为1的用户/所有点击用户 从复购率可以看出，一半以上的用户有复购行为，且跳失率为0，说明淘宝对用户有足够的吸引力，让用户停留。 因仅有9天的数据，对用户复购时间特征没有足够的数据进行分析，因此没有对复购时间特征进行分析。 3.3.2 用户行为分析 用户行为可分为四种：点击、收藏、加购、购买，对这四类行为进行分析。
因用户购买途径有4种：点击-购买；点击-收藏-购买；点击-加购-购买；点击-收藏-加购-购买。因此，从上图中暂时无法判断点击、收藏、加购与成交数的关系，需进一步分析。 将用户成交方式分为四类：仅有点击行为；仅有收藏行为；既有收藏行为又有加购行为；仅有加购行为。分别计算出这四类人群的成交率。成家率=有下单行为的该类用户/该类用户总人数。可以看出，有收藏加购行为的和仅加购用户的购买率相较另外两者更高，因此，可以推测，用户的加购行为在一定程度上可以提高成交率。 3.3.3 用户时间分布分析 以日为单位对用户行为进行分析，可以看出，加购量与点击量几乎呈正相关趋势，收藏数与点击数相关性也较好，而购买量则与其他量没有呈现出明显的相关性。由前文我们已经推测，12月2日与12月3日点
大数据分析在移动通信的应用 摘要：在信息资源的价值和实用性被不断挖掘并得以应用于实际工作中，大数据技术的发展迎来了高速发展期，这是由于通过信息不断的生成、更新和变化，产生了海量规模的数据信息，人们需要利用大数据的处理技术和分析能力来应对海量的数据。这在移动通信的发展领域中体现得尤为显著，人们采用了很多的具体策略来进行网络优化和改进，力求提升大数据的处理分析技术在通信网络中的应用能力，从而不断促进移动通信的进步。 关键词：大数据；移动通信；网络优化；具体策略 在当今移动客户端通信技术迅速发展的背景下，用户量和信息量的猛增，整个通信网络正面临着很大的运行压力，其中也出现了很多技术性问题和安全性问题阻碍着网络系统的建设与完善工作。基于此，技术人员在大数据的相关处理和分析技术的研发与应用的基础上，开始综合分析当前通信网络系统出现的问题和影响因素，持续改进和优化网络系统的各个环节和具体应用程序，切实提高通信技术与大数据处理分析技术的融合发展水平。 1大数据技术在移动通信系统中的具体应用解析 首先，我们要明确数据信息从何而来，在分析移动通信系统的信息来源过程中，发现其来源主要包括市场客户、设备运行管理以及相应的设备维护等渠道来源。而产生信息量最大的渠道来源就是市场客户，每天都会产生极为庞大的数据和信息，这是因为大量都偏向于应用移动网络来进行信息的传递和接收，进而生成了海量的通信信息和数据，很多信息的传递是实时性和即时性的，这就对移动网络和终端设备的运转效率和反应速度提出极为严格的要求，而且整个网路系统也要通过不断强化的设备体系和应用系统运行能力来提供相应的重要保障，以顺利完成各种信息的通信，并在这个过程中实现高效的信息交换和互通。这就需要应用大数据的处理以及分析技术来维持整个系统的稳定运转，如果不能及时处理好海量的数据，形成堵塞和滞后，那么在数据生成和产生时就会引发整个通信系统面临崩溃和瘫痪的可怕后果。可见，大数据技术的应用过程中，能够及时对大量生成的信息和数据进行反应，并高效开展处理和分析工作。其次，我们要分析怎样去合理的获取数据。目前很多移动网络的运营和供应企业都利用数据处理、
大数据分析在移动通信网络优化中的应用梁和 发表时间：2019-09-03T16:59:55.603Z 来源：《科学与技术》2019年第07期作者：梁和 [导读] 本文首先分析大数据分析的具体应用，然后以此为基础，进一步探究如何优化移动通信网络，希望能够进一步推进我国通信工程建设。 来宾市人民防空指挥信息保障中心 摘要：在21世纪发展的今天，移动通信网络对现代人日常生活具有极其重要的影响，必须对其加强重视，在此过程中科学应用大数据分析能够合理优化移动通信网络，本文首先分析大数据分析的具体应用，然后以此为基础，进一步探究如何优化移动通信网络，希望能够进一步推进我国通信工程建设。 关键词：大数据分析；移动通信网络；优化 引言： 作为一种现代通讯介质，移动通信网络能够使移动用户和固定用户之间进行更为有效的通信，在具体实现通信过程中，大数据分析是其中一项不可或缺的重要技术，为了对其具体应用具有更为深入的认识，特此展开本次研究。 一、大数据分析具体应用 （一）选择基站建设地点 移动通信网络具体包括分析话务活动，处理通信，过程中掉话故障以及控制干扰信号三个方面，如果想要确保移动通信网络应用过程中具有更高的稳定，必须确保科学选择建设基站地点，更高程度的满足信息数据覆盖的相关要求，确保有效融合建站地点自然环境及其周围建筑物，以此为基础，才能确保通信网络能够对各种信号进行更为有效的摄取[1]。在我国目前进行数据挖掘时，搜索禁忌计算，神经网络计算和遗传计算是较为常见的几种计算方式，相关工作人员在具体作业时可以选择单个使用，同时还可以在一定程度内联合应用。工作人员在开展具体工作过程中，需要基于基站建设具体需求科学选择计算方式，确保建筑成本能够发挥实现更大的经济效益。 （二）处理通信掉话故障 移动通信网络在具体工作过程中，通常会在一定程度内出现通话中断的现象，在出现该类问题时，工作人员可以通过进行异常点的有效检测对其实现科学处理，具体运行过程中的数据资料作为参考依据，针对相关故障点进行定位处理，确保解决方案具有更高的有效性。在具体进行大数据分析过程中数据挖掘技术的有效应用，能够确保及时分析相关故障问题，同时，合理预测其他可能出现调换故障的工作区域，协助工作人员进行科学有效的故障预防，杜绝发生同类型问题，确保系统运行具有更高的稳定性。 （三）精确控制干扰信号 在移动通信网络中进行信号传输时，干扰是最容易出现的问题。基于大数据分析实现的数据挖掘技术，能够确保准确判断发生信号干扰的地点和具体情况，同时，基于系统运行过程中的信息数据有效处理干扰问题，确保通信网络运行具有更为良好的环境。对于基站子系统而言，基站具体是指搭建通信网络过程中的高塔，能够有效接收来往信号，并对其进行再次发射，可以更高程度的保障传输质量，通常很容易受到外界环境干扰。基于此，干扰信号具体可以分为外部干扰和内部干扰两种。其中，内部干扰具体是指系统运行过程中出现的故障干扰，外部干扰具体是基站点处自然环境及其周边建筑对传输信号造成的影响。工作人员通过科学应用主成分分析技术对内部、外部干扰中的各项因素进行综合分析，并对其影响力进行科学排名，基于排名处理具有较大干扰力的因素。 （四）准确分析话务活动 在移动通信网络建设过程中，预测分析话务活动时可以科学应用大数据分析展开具体工作，在此过程中，精确的分析结果能够在一定程度内为移动通信运营商创造更为科学的硬件投资建议，确保其可行性。在具体对话务活动进行预测分析时，如果分析结果较小，与实际结果存在较大偏差则会在一定程度内形成话务溢出，导致移动通信运营商后期利润大大降低，如果预测分析结果远远高于实际结果，会导致移动通信运营商在一定程度内过分投入，造成资源浪费。基于此，工作人员通过科学应用时间序列法能够对产生话务活动的高峰期进行持续预测，并以此为基础科学构建硬件设备调整方案，确保防患于未然。 二、移动通信网络优化策略 （一）健全管理体系 在优化移动通信网络过程中科学应用大数据技术，通常会在一定程度内产生数据安全问题，对移动通信行业造成很大程度的不利影响。因此，移动通信企业在具体应用大数据技术时，需要科学构建管理制度，不仅能够对其移动通信网络相关数据进行有效监督和科学控制，进而确保移动通信网络环境具有更高的安全性，对其相关数据使用安全进行更高程度的保障，确保企业建设具有更高的经济效益。 （二）获取数据信息 在传统移动通信网络建设过程中进行数据处理时，工作效率和准确率都存在很大程度的不足，无法确保有效满足移动通信网络技术发展需求。在此过程中，如何进一步确保更为高效的获取相关数据资源是优化移动通信网络过程中极为重要的一个问题。移动通信网络建设过程中大数据分析的有效应用具有极其重要的现实意义。首先，在数据分析过程中科学应用计算机网络，能够大大简化移动通信公司相关人员工作强度，与此同时，大数据分析还可以进一步提升数据搜集准确性和高效性。在开展具体工作过程中，数据挖掘是其中极为重要的一项工作，在具体优化移动通信网络过程中具有较大的工作难度。在应用移动通信网络过程中需要确保科学应用数据挖掘系统进行相关数据信息的有效分析，同时，进一步挖掘不同信息之间存在关联性，确保移动通信网络运行具有更为丰富的数据支撑。作为现代智能应用技术，数据挖掘具有较为强大的功能，在移动通信网络建设过程中有效应用数据挖掘，能够实现网络质量的有效提升，确保企业建设具有更高的经济效益。在具体进行数据挖掘时，工作人员还需要注意其与数据总结，数据提取，数据筛选和数据分析之间存在必然联系，确保优化方案具有更高的关联性和完整性，确保移动通信网络得到更高程度的发展。 （三）应用存储功能 在我国移动通信用户高速增长过程中，产生的相关数据也得到了很大程度的提升，如果不能确保科学应用大数据分析相关数据，则很难对其进行有效存储和科学应用，需要耗费大量财力，物力和人力。因此，在具体优化移动通信网络过程中科学应用大数据分析，相关工作人员需要确保对其存储功能充分利用，在不断更新和有效处理移动通信网络中的相关数据时，需要与大数据分析有效融合，确保进一步