大数据技术应用在5G网络运维中的探讨分析摘要: 身处5G时代的伟大变革，面对通信技术的迭代升级，结合互联网和通信行业融合技术的发展需求，大数据技术应用已经尤为突出和重要，成为通信运营商捕捉商机的重要手段。
关键词：Big data、采集、存储与管理、分析与挖掘、机器学习引言:随着“大数据”时代的到来，信息成为企业战略资产，市场竞争要求越来越多的数据被长期保存，每天都会从管道、业务平台、支撑系统中产生大量有价值的数据，这些数据有可能被长期埋没而未发挥出其应有的作用。
大数据技术的应用，可以将这些数据的商业价值得到有效开发，为运营商带来巨大的商机。
下面从五个方面进行解析：一、精细化营销在网络时代，基于数据的商业智能应用为运营商带来巨大价值。
通过大数据挖掘和处理，可以改善用户体验，及时准确地进行业务推荐和客户关怀；优化网络质量，调整资源配置；助力市场决策，快速准确确定公司管理和市场竞争策略。
例如，对使用环节如流量日志数据的分析可帮助区分不同兴趣关注的人群，对设置环节如HLR/HSS数据的分析可帮助区分不同活动范围的人群，对购买环节如CRM 的分析可帮助区分不同购买力和信用度的人群，这样针对新的商旅套餐或导航服务的营销案就可以更精准的向平时出行范围较大的人士进行投放。
二、智慧网络运营互联网技术在不断发展，基于网络的信令数据也在不断增长，这给运营商带来了巨大的挑战，只有不断提高网络服务质量，才有可能满足客户的存储需求。
在这样的外部刺激下，运营商不得不尝试大数据的海量分布式存储技术、智能分析技术等先进技术，努力提高网络维护的实时性，预测网络流量峰值，预警异常流量，防止网络堵塞和宕机，为网络改造、优化提供参考，从而提高网络服务质量，提升用户体验。
三、互联网金融通信行业的大数据应用于金融行业目前是征信领域。
例如“招联消费金融公司”即是较好案例。
招商与联通的合作模式主要体现在招商银行有对客户信用评级的迫切需求，而联通拥有大量真实而全面的用户信息。
当招行需要了解某位潜在客户的信用或个人情况时，可向联通发起申请获得数据；或者给出某些标签。
类似于此的商业模式将会在互联网金融大发展时期获得更多重视。
目前，国内互联网金融发展的一大壁垒即是信用体系的缺失，而运营商拥有的宝贵大数据将是较好的解决渠道之一。
四、合作双赢随着大数据时代的来临，数据量和数据产生的方式发生了重大的变革，运营商掌握的信息更加全面和丰满，这无疑为运营商带来了新的商机。
目前运营商主要掌握的信息包括了移动用户的位置信息、信令信息等。
就位置信息而言，运营商可以通过位置信息的分析，得到某一时刻某一地点的用户流量，而流量信息对于大多数商家具有巨大的商业价值。
通过对用户位置信息和指令信息的历史数据和当前信息分析建模可以服务于公共服务业，指挥交通、应对突发事件和重大活动，也可以服务于现代的零售行业。
运营商可以在数据中心的基础上，搭建大数据分析平台，通过自己采集、第三方提供等方式汇聚数据，并对数据进行分析，为相关企业提供分析报告。
在未来，这将是运营商重要的利润来源。
例如，通过系统平台，对使用者的位置和运动轨迹进行分析，实现热点地区的人群频率的概率性有效统，比如根据景区人流进行优化。
五、可以交由第三方挖掘在大数据时代下，传统的经营分析系统遇到挑战，运营商会考虑如何更好地使用其大数据。
运营商可以采取旧方式，自身采购硬件设备，并交由第三方进行运维和分析。
未来趋势，运营商也可以采购相关产品，将后续数据挖掘等工作交由第三方来完成变现。
一、大数据技术概述1、大数据的概念“大数据”(Big data)，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。
一般认为，“大数据”具有4V特点：Volume(数据量大)、Velocity(输入和处理速度快)、Variety(数据多样性)和Value(价值密度低)。
1.1 Volume（数据量大）大数据的特征其实是我们现在理解的海量数据。
“大数据”在互联网行业是必备项：互联网公司在日常运营中生成、累积的用户网络行为的数据。
比如社交电商平台每天的产生订单，各个短视频、论坛、社区发布的帖子、评论及小视频，每天发送的电子邮件，以及上传的图片、视频与音乐，等等，这些无数个体产生的数据规模很庞大，数据体量早已达到了PB级别以上，大数据的大量就是我们说的海量数据。
1.2、Velocity（输入和处理速度快）随着网络传输速率不断攀升，从传统的百兆到千兆万兆网络，移动网络也已经逐步升级到了5G时代，数据的产生和传输都越来越高速。
所以客户越来越强调实时反馈，就是无论是在线看电影还是在线直播、刷视频都要求低延时，对于传输、存储、播放都要求高度，人们和企业都越来越依赖互联网，网上的实时交易、在线培训、社交等都与每个人息息相关，云计算平台大数据平台担负着高质量的服务功能，运营方还是服务商对于海量数据，谁能提供更快的速度，谁就能获得更多的用户和订单！1.3 数据多样性。
数据多样性其种类包括文字、图片、视频、语音、地图定位信息、网络日志信息等等，正是多样化的数据形势决定了大数据的更高价值。
对于数据挖掘和数据资产越来越受到企业的重视，多类型的数据对数据的存储和处理能力都提出了更高的要求。
目前应用最广泛的就是智能推荐系统，如今日头条，百度、抖音等，这些平台都会通过对用户的行为进行分析，从而智能的推荐用户喜欢的内容页面。
1.4 价值密度低随着物联网的广泛应用，往往人们需要从海量的数据中提取先关联的有用的信息，所以对于大数据的机器学习深度学习算法可以发挥巨大作用。
大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识。
2、大数据的应用原理由于5G通信网络中传输的数据量大，数据种类多样，而且不同数据存储的方式不同，所以对大数据的收集、存储、分析、查询等难度加大。
常用的一般大数据技术分采集、分析、存储、处理等。
通过合适的数据挖掘算法挖掘出有效信息，挖掘出来的大数据进行分析后，通过数据图表可视化的形式展现给读者，进行可量化的评价，进一步完善数据挖掘技术。
一般可分为以下流程：2.1 大数据采集大数据采集技术就是对数据进行提取、转换、加载等操作，最终挖掘有价值的数据，供用户解决方案或决策参考。
大数据采集过程一般分为智能感知层、基础支撑层。
智能感知层包括传感器、通信网络、智能识别系统等，以实现对数据源的智能识别、数据感知、信息传输等。
基础支撑层包括搭建物联网体系、存储海量数据的云端服务器等，为实现数据的收集和存储提供物理保障。
2.2 大数据筛选对采集到的数据进行抽取清洗等筛选工作。
大数据抽取是将这些复杂的数据单一化，以便于快速分析处理。
大数据清洗是对采集到的数据进行过滤，去掉一些无效或错误的数据，提取有效数据。
2.3大数据存储与管理数据采集后，经过数据分析，但后将有效的数据进行存储。
不同类型的数据应建立不同的数据库进行存储，有关系型数据库、非关系型数据库、图数据库、内存型数据库等，基于各种类型的数据库建立了混合数据库，解决了复杂的结构化、半结构化和非结构化大数据管理和处理问题。
2.4大数据分析与挖掘从大量的、模糊的、随机的预处理后的有效数据中，挖掘出隐含于有效数据背后的有潜在价值的信息和知识。
在已有数据挖掘和机器学习技术的基础上，从客户兴趣、网络行为、情感语义等领域采用数据网络、图等数据挖掘新技术进行大数据分析。
数据挖掘技术很多，可以根据挖掘任务、挖掘对象、挖掘方式进行分类。
从挖掘任务角度，分为预测模型发现、关联规则发现、序列模式发现、依赖模型发现、趋势发现等。
从挖掘对象角度，分为关系型数据库、面向对象数据库、多媒体数据库、全球WEB数据库等。
从挖掘方法角度，分为机器学习方法、统计方法、神经网络方法和数据库方法。
机器学习方法又分为归纳学习、决策分析方法，一般基于返利学习、遗传算法等。
统计方法分为回归分析、判别分析、聚类分析、探索性分析等。
神经网络方法分为前向神经网络、自主性神经网络等。
数据库分析方法分为多维数据分析、面向属性的归纳方法等。
2.5大数据应用大数据技术挖掘出海量数据中隐藏的信息和知识，为人类的社会经济活动提供依据，可以提高各领域的运行效率。
二、5G通信网络概述以及发展瓶颈1.5G基本含义与特点随着互联网产业的发展壮大，人们对网络传播的速度有了更高的要求，5G 高速移动通信技术由此应运而生。
5G 移动通信技术是第五代通信技术，在 4G 基础上的提升，转变为当前移动电话行动的通信标准，传输速率非常高，是今后人们日常生产生活主要依赖的网络。
特点:5G 移动通信技术结合了无线和有线技术，不仅渗透性强还有着较高频谱的使用率、双向传输信号，传输速率更高，通信更便捷，给用户带来了全新的体验感，且功耗低成本低，有效节约资源的同时也因此扩大了应用领域，推动了移动通信的多方合作，完善了多项服务功能，提高了无线网络的覆盖面。
1.5G通信网络发展的瓶颈①5G通信网络中天线数量过大。
由于5G通信网络覆盖面广，所以需要的天线数量大，天线相互之间存在信号干扰，降低了5G网络的通信质量。
②5G通信网络数据类型多样，网络构架复杂。
有用户访问数据、基础网络数据、网络环境状态等。
5G通信网络中的数据来自于用户和运营商，用户访问多是自媒体和富媒体数据，运营商记录日志和基础网络数据。
为了保证网络数据的有效运营，在网络通信多个环节进行数据采集，掌握网络的运营环境。
③5G通信网络是超密集异构网络，边界数量大增，边缘数据感知不敏感。
在超密集网络中，密集地部署使得小区边界数量剧增，加之形状的不规则，导致频繁复杂的切换。
因此，基于大数据技术构建起来的网络架构能够满足人们的日常信息查询需求。
大数据网络架构具有网络数据中心，该中心可以实现各类信息的输入和输出，为信息的有效传递提供支撑。
大数据网络架构是对大数据的充分利用，在该网络架构下，能够实现对各类网络业务的协调，作为大数据技术工作人员，应加强对大数据网络架构的设计研究，不断提高大数据网络架构设计水准，确保其具有良好的扩展性，以充分发挥出实际价值。
由于5G通信技术本身的显著优势，在应用大数据技术进行5G通信网络架构的构造时，将能够彰显出5G通信网络环境的稳定性与高效性。
且大数据技术和5G通信网络架构可以相互促进，在二者的融合发展下将能够彰显出较高的社会发展效益。
三、基于大数据的5G网络体系架构的发展方向1. 向“访问平面-异构站之间的协作网络”的方向发展，可形成 C-RAN和D-RAN和无线网状网络三种形式。
2. 越来越重视数据平面网管和业务接收器的完善。
