移动通信网络数据采集方法分析
- 格式:docx
- 大小:29.03 KB
- 文档页数:3
中国移动通信企业标准QB-╳╳-╳╳╳-╳╳中国移动LTE信令软采规范版本号:1.0.0╳╳╳╳-╳╳-╳╳发布╳╳╳╳-╳╳-╳╳实施中国移动通信集团公司发布目录前言 (3)项目背景 (3)1范围 (4)2规范引用文件 (4)3术语、定义和缩略语 (4)4LTE基本网络架构和设备 (5)4.1EPC网络架构 (5)4.2网络设备 (6)5设备输出数据的方式与内容 (6)5.1设备输出数据的方式 (6)5.2设备输出数据的内容 (6)5.2.1信令要求 (7)5.2.2用户面要求 (8)5.3设备输出数据的协议 (8)5.3.1S1-MME接口 (8)5.3.2S6a接口 (9)5.3.3S10接口 (9)5.3.4S11接口 (10)5.3.5S1-U接口 (10)5.3.6S5/S8接口 (11)5.3.7Gx接口 (12)5.3.8Uu接口 (12)5.3.9X2接口 (16)5.3.10Gn/Gp接口 (17)5.3.11SGs接口 (18)5.3.12S3接口 (19)5.3.13S4接口 (19)5.3.14S12接口 (20)5.3.15S6d接口 (21)6设备在网络中的位置 (27)7功能要求 (29)7.1TD-LTE软采集功能 (29)7.1.1网元要求 (29)7.1.2OMC要求 (29)7.2流量汇聚适配器(SCA)功能 (30)8性能指标和可靠性要求 (31)8.1准确性和完整性要求 (31)8.2时延要求 (32)8.3硬件要求 (32)8.4处理能力要求 (32)8.5容灾能力要求 (32)9编制历史 (32)1前言本标准对中国移动TD-LTE软采平台提出要求,是TD-LTE软采平台建设需要遵从的技术文件。
本标准主要包括以下几方面内容:网络架构、设备输出数据方式与内容要求、设备在网络中的位置、功能要求、性能指标和可靠性要求。
本标准是中国移动信令LTE软采平台系列标准之一,该系列标准的结构、名称或预计的名称如下:本标准由中移号文件印发。
5G探针的工作原理1. 引言随着移动通信技术的不断发展,5G作为第五代移动通信技术,具备了更高的速度、更低的延迟和更大的容量。
为了更好地监测和优化5G网络的性能,5G探针应运而生。
本文将详细介绍5G探针的工作原理。
2. 5G探针的概述5G探针是一种用于监测和分析5G网络性能的设备。
它可以实时收集、分析和展示与5G网络相关的关键指标,帮助网络运营商和维护人员了解网络的运行状况,及时发现和解决问题,提高网络性能和用户体验。
3. 5G探针的基本原理5G探针的工作原理可以分为以下几个方面:3.1 数据采集5G探针通过与5G网络中的各个节点进行通信,实时采集网络的运行数据。
数据采集可以通过以下几种方式实现:•端口监听:探针通过监听5G网络中的数据流量,捕获网络包并提取所需信息。
这种方式可以获取到网络层和传输层的数据。
•信令解析:探针可以解析5G网络中的信令消息,提取关键信息。
这些信令消息包括控制平面和用户平面的信令,如RRC消息、PDCP消息等。
•流量镜像:探针可以通过网络设备的流量镜像功能,将网络中的流量复制到探针所在的位置,进而进行数据采集和分析。
3.2 数据分析采集到的数据需要进行分析,以提取有用的信息和指标。
5G探针可以通过以下几种方式对数据进行分析:•协议解析:探针可以对采集到的数据进行协议解析,提取出关键的协议字段和参数。
这些字段和参数包含了网络的性能和状态信息。
•流量分析:探针可以对采集到的流量进行深入分析,包括流量的源和目的、流量的大小和方向、流量的时延和丢包率等。
通过分析流量,可以了解网络的负载情况和瓶颈所在。
•用户行为分析:探针可以分析用户的行为模式,包括用户的活动时间、访问的网站和应用、数据的上传和下载量等。
通过分析用户行为,可以优化网络资源的分配和调度。
3.3 数据展示分析完数据后,5G探针将结果进行展示,以便网络运营商和维护人员进行查看和分析。
数据展示可以通过以下几种方式实现:•图表和报表:探针可以生成各种图表和报表,展示网络的性能指标和用户行为。
《基于Android的移动终端数据采集的实现》篇一一、引言随着移动互联网的飞速发展,Android作为全球使用最广泛的移动操作系统之一,其应用场景和功能需求日益丰富。
其中,基于Android的移动终端数据采集技术,在各行各业的应用中发挥着越来越重要的作用。
本文将详细介绍基于Android的移动终端数据采集的实现过程,包括其技术背景、目的、意义以及相关研究现状。
二、技术背景与目的在移动互联网时代,数据采集是获取信息的重要手段。
基于Android的移动终端数据采集技术,可以实现对移动设备上的各种数据进行快速、准确的收集。
本文旨在探讨如何利用Android 系统及其相关技术,实现高效、稳定的数据采集,以满足不同领域的需求。
三、相关研究现状目前,关于Android数据采集的研究已经取得了一定的成果。
许多学者和企业都在探索如何利用Android设备进行数据采集,包括数据采集的方法、技术、工具等方面的研究。
然而,随着应用场景的不断扩展和需求的变化,如何实现更高效、更准确的数据采集仍然是一个亟待解决的问题。
四、实现过程4.1 需求分析在进行基于Android的移动终端数据采集之前,首先需要进行需求分析。
这包括明确数据采集的目的、数据类型、采集频率等,以及确定所需的技术和工具。
4.2 开发环境搭建搭建开发环境是进行Android数据采集的基础。
这包括安装Android Studio等开发工具,配置开发环境,以及准备必要的SDK和依赖库。
4.3 数据采集模块设计根据需求分析的结果,设计数据采集模块。
这包括确定数据源、数据获取方式、数据处理方法等。
同时,需要设计合适的接口,以便与其他模块进行数据交互。
4.4 数据传输与存储数据采集完成后,需要进行数据传输和存储。
这可以通过网络传输、蓝牙传输等方式实现。
在存储方面,可以选择本地存储或云存储等方式。
为了保证数据的安全性和可靠性,需要采取相应的加密和备份措施。
4.5 界面设计与交互为了方便用户使用和操作,需要设计合理的界面和交互方式。
浅谈移动通信网络摘要:随着现代化信息技术的迅猛发展,网络已经成为了人们工作和生活不可或缺的东西。
借助信息网络,人们有效地提高了工作效率,并实现了信息化办公形式。
然而,随着人们对网络的需求量不断增加,当前的移动通信网络面临着巨大的供给问题。
因此,不断提高移动通信网络的供给量具有重要的现实意义。
文章结合当前移动通信网络的实际运行状况,探索对应的改进措施,以期大幅度提高移动通信网络的服务能力。
关键词:移动通信网络网络运行促进策略近年来,随着移动网络信息技术的快速发展,国内移动通信事业取得了快速、综合的发展。
移动网络无论是规模还是数量都在大幅度提升。
然而,相对于移动通信网络的服务量增加,其需求客户的数量以及需求量多在成倍增长。
客户数量的巨幅增长,使得我国的移动通信网络运营商面临着巨大的供求压力。
同时,其亦是迎来了巨大的潜在商业利润。
移动通信无线网络的进一步优化,将会大幅度加大通信质量,进而更好地满足市场需求,提高客户的服务质量。
一、无线网络优化概述网络信息技术的快速发展,无线网络亦是发生了众多变化。
国内的移动通信系统已经进入了全面、飞速的发展时代。
越来越多的网络用户已经开始使用无线网络解决工作和生活上的很多问题。
无线网络的优化对于移动通信起着十分重要的作用,对于移动通信的运营有着十分重大的意义。
网络维护工作的重点就是不断的优化移动通信网络,进而保证网络的正常运行。
所谓的网络优化就是要对系统的实际情况进行详细的分析,对于性能、运行表现进行详细的记录,通过彻底的分析后进行相关参数的调整,不断的改善无线网络,进而优化网络系统。
最终使网络系统满足用户的需求,为用户提供高质量的网络服务。
所谓的高质量就是强信号、掉话率比较低、覆盖面积较大、通话音质较好。
网络优化主要指的是通过各种信息采集、数据分析的方法对网络系统进行分析,发现网络存在的问题,找出原因,然后不断的进行配置和参数的相应调整,进而保证网络的正常运行,提高网络资源的利用效率。
第24卷 第3期电子测量与仪器学报Vol. 24No. 3·230 ·JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT2010年3月本文于2009年11月收到。
第3期 移动通信网的QoE 测量及其量化方法 · 231 ·图1 QoE 、QoS 与NP Fig. 1 QoE, QoS and NP包括终端中人机界面两侧的实体; QoS 仅考察通信中非人的实体部分; NP 则仅考察网络侧的通信性能。
2.1 QoE用户体验质量(quality of experience), QoE 定义为用户对某项业务的真实感知程度, QoE 从业务的可用性、随地可接入性、随时可接入性和完整性四个方面进行考量, 以一种量化的方式来反映最终用户对业务性能的满意程度[4]。
QoE 的量化指标可以用优秀、很好、好、一般、差5个级别来标识[1]。
决定QoE 值的因素分为两个方面:技术面因素: 端到端网络质量、网络/业务覆盖率和终端功能;非技术面因素: 业务使用简易、业务内容、资费和客户支持。
QoE 牵涉了所有参与移动通信完整价值链的各个方面: 包括用户、运营商、内容提供商或应用提供商、设备制造商或系统集成商、终端设备和应用软件。
2.2 QoS业务质量(quality of service), 定义为网络(终端、接入网和核心网)在可保证的质量水平上提供一种业务的能力。
QoS 是实现用户QoE 的技术面因素之一。
QoS 针对一项具体的业务而言, 由特定业务的功能、性能、可用性、可操作性、安全性及其他因素来描述[10,14]。
QoS 既不是用于描述对某项业务的满意程度, 也不是用于做定量的技术性评价。
QoS 通过在协议栈的各个协议层上定义的一组公共参数, 来保证业务实现一定的QoE[12]。
用于实现QoS 保证的参数有: 优先级、延迟、延迟抖动、包丢失率、吞吐量、承载可靠性、帧误码率、业务响应时间、包重排序、会话阻塞率、会话可用性、会话持续性和会话接入时间等。
中国移动通信企业标准QB-╳╳-╳╳╳-╳╳╳╳中国移动上网日志留存系统三期规范-L T E采集解析设备规范(软采分册)E q u i p m e n t S p e c i f i c a t i o n f o r C h i n a M o b i l eN e t l o g S y s t e m(S i g n a l C o l l e c t i o n f o r L T E P a r t)版本号:1.0.0╳╳╳╳-╳╳-╳╳发布╳╳╳╳-╳╳-╳╳实施中国移动通信集团公司发布目录1 范围 (1)2 规范性引用文件 (1)3 术语、定义和缩略语 (1)3.1 术语、定义 (2)3.2 缩略语 (2)4 设备在网络中的位置 (3)5 功能要求 (3)5.1 采集设备接入、输出要求 (3)5.2 采集解析功能要求 (4)5.3 数据采集解析设备 (4)5.4 数据处理功能要求 (4)5.5 数据存储功能要求 (4)5.6 数据输出功能 (5)6 性能指标和可靠性要求 (5)6.1 可靠性 (5)6.2 安全性 (6)6.3 性能要求 (6)6.4 完整性和准确性要求 (7)6.5 时延要求 (7)6.6 软件要求 (7)6.7 硬件要求 (8)6.8 可扩展要求 (8)6.9 部署要求 (8)6.10 处理容量要求 (8)6.11 容灾能力要求 (8)7 接口要求 (9)7.1 设备输入接口 (9)7.2 设备输出接口 (10)8 时间同步要求 (10)9 网管要求 (11)9.1 配置管理 (11)9.2 查询设备信息 (12)9.3 查询设备状态 (13)9.3.1 设备负荷 (14)9.4 设备状态管理 (14)9.4.1 故障管理 (14)9.4.2 心跳信号 (15)9.5 性能管理 (15)9.6 安全管理 (15)10 操作维护要求 (16)10.1 可管理性 (16)10.2 可维护性 (16)11 网络安全要求 (16)12 编制历史 (17)附件一业务分类 (17)前言本标准对中国移动上网日志留存系统三期中的数据采集层设备提出要求,是中国移动上网日志留存系统建设需要遵从的技术文件。
网络rtk的方法及应用网络RTK(Real-Time Kinematic)是一种基于无线通信网络的实时差分GPS 技术,它通过将参考站的GPS观测数据实时传输给移动站,从而提高定位精度和实时性。
网络RTK方法采用了多基线、多站点协同观测和处理的方式,往往通过一些公共的通信设备,如互联网、广域网或无线网络,将所有的GNSS接收机连接起来,从而构建了一个分布式的差分系统。
网络RTK技术的应用非常广泛,下面将对其方法和应用进行详细阐述。
网络RTK的方法主要包括基线网构建、增强RTK技术、差分修复和数据传输。
首先是基线网的构建,它是网络RTK系统的基础。
通过在不同地理位置上设置多个基站,实时接收GNSS卫星信号,并记录GPS观测数据。
基站之间要满足一定的几何分布条件,能够接收到同一颗卫星的信号。
同时,基站之间要利用互联网或其他通信手段进行数据传输,构成一个完备的基线网。
其次是增强RTK技术,主要用于提高定位精度。
网络RTK系统中,基准站测量的是载波相位观测值,而移动站只能测量伪距。
为了获得高精度的定位结果,需要将基准站的载波相位观测值转换为伪距,然后传输给移动站。
增强RTK技术利用网络RTK系统中多个基站之间的协作信息,通过差分处理和状态估计等方法,将基准站的高精度载波相位观测值转换为伪距,实现高精度的差分修复。
差分修复是网络RTK的关键步骤,主要用于消除多路径效应和大气延迟等误差,提高定位精度。
差分修复方法包括单差、双差和三差等多种形式,通过比较观测值和近似值之间的差异,计算出差分修复的改正量,并应用到移动站的观测值中,实现最终的高精度定位。
数据传输是网络RTK的重要环节,它要求基线网的各个节点能够及时、可靠地传输观测数据。
常见的数据传输方式包括互联网、广域网、虚拟专用网络(VPN)和无线网络等。
在数据传输过程中,需要考虑数据的实时性、带宽、安全性和稳定性等因素。
网络RTK技术在测绘、地理信息系统、导航、精密农业等领域有广泛应用。
2020年第6期166网络与信息安全信息技术与信息化LTE 网络MR 数据快速解析的研究与实现刘 洁* 葛 俊** LIU Jie GE Jun摘 要 目前,采集4G 网络的MR (Measurement Report ,测量报告)数据并进行解析是了解4G 网络覆盖情况的最有效方法。
但用传统方法解析MR 数据的周期较长,无法满足快速响应的要求。
本文从如何解决LTE 网络MR 数据快速解析这一难题出发,研究快速解析MR 数据的方法并应用于实践,便于网络优化一线人员能及时了解网络覆盖情况,提升移动用户的感知。
关键词 4G 网络;MR 数据;快速解析;提升用户感知doi:10.3969/j.issn.1672-9528.2020.06.053* 湖南工程学院计算机与通信学院 湖南湘潭 411104** 中国移动通信集团湖南有限公司湘潭分公司 湖南湘潭 411100[基金项目] 2016年度湖南工程学院校级青年科研课题:LTE 网络MR 数据快速解析的研究与实践(XJ1610);2018年湖南省教育厅科学研究项目:一种基于因子加权算法的 PCI 模三干扰智能优化方法研究(18C0717)0 前言目前,运营商的4G 网络建设规模已经十分庞大,庞大的网络也需要投入巨大的资源对网络进行优化。
以往的网络优化方式是通过人工测试获得网络各项业务的性能情况,根据性能情况再进一步来评估网络质量,如网络覆盖率、上网速率、通话质量、干扰情况等,从而推断客户在该区域网络下的体验感受,有针对性地开展网络优化工作。
而人工测试受到各种因素的制约,只能对能通车的路段及部分重点场所进行测试,由于人工测试需要花费大量的人力和物力,且测试完成后再进行分析才能指导解决问题,时效性不高。
为了快速高效的了解4G 网络的覆盖情况,指导4G 建设,通过对4G 网络的MR (Measurement Report,测量报告)数据进行采集并进行解析成为当前替代人为测试最有效的方法,通过解析MR 数据能够对网络的4G 网络的信号覆盖状况和用户感知情况进行统计、分析及评估。
G网络覆盖与接收服务质量评估方法研究随着信息技术的不断发展和移动通信的普及,G网络的覆盖与接收服务质量成为用户选择和使用移动网络的一个重要因素。
为了保证用户能够获得良好的网络体验,移动通信运营商需要对网络覆盖和接收服务质量进行评估和监控。
本文将探讨G网络覆盖与接收服务质量评估的方法,帮助运营商提供更好的服务。
一、G网络覆盖评估方法网络覆盖是指移动通信网络与用户终端的信号覆盖范围。
对于G网络来说,覆盖评估主要包括信号强度、信噪比和覆盖范围等指标的测量和分析。
以下是几种常见的G网络覆盖评估方法:1. 现场测试:通过在不同地点使用专业的测试设备进行现场测试,测量信号强度、信噪比和覆盖范围等参数。
现场测试能够直接反映网络在实际使用场景下的覆盖情况,但测试成本较高且时间消耗大。
2. 无线信号强度图:通过在网络覆盖区域内使用无线信号测量设备进行接收信号强度的测量,并通过绘制信号强度图来展示网络覆盖情况。
该方法能够直观地显示网络覆盖的情况,但准确性较差。
3. 数据采集与分析:运营商可以通过手机APP等方式收集用户使用网络时的参数数据,并进行数据分析。
通过大数据分析,运营商可以了解网络覆盖的强弱,并作出相应的优化调整。
二、接收服务质量评估方法接收服务质量是指用户在使用G网络时所能获得的服务质量,如通话质量、数据传输稳定性等。
以下是几种常见的G网络接收服务质量评估方法:1. 主观评估:运营商可以通过用户调查、用户反馈和用户体验评估等方式来了解用户对网络服务质量的主观感受。
通过定期的用户调研,运营商可以了解用户的满意度和不满意度,进而采取相应的改善措施。
2. 客观评估:利用专业的测试设备对网络的通话质量和数据传输稳定性等指标进行客观评估。
客观评估主要通过测量网络时延、丢包率和数据传输速率等参数来判断网络服务质量的好坏。
3. 服务质量监控系统:运营商可以建立服务质量监控系统,实时监测网络的性能指标,并根据指标的变化情况及时采取优化措施。
中国移动上网日志留存系统LTE采集解析设备规范1. 引言随着移动通信技术的快速发展,中国移动日志留存系统LTE采集解析设备的规范变得越来越重要。
该设备的作用是采集和解析移动用户上网过程中产生的日志,以便进行安全性分析、网络故障排查以及服务质量监控等工作。
本文档旨在给出LTE采集解析设备的规范,以确保系统的正常运行和可靠性。
2. 设备硬件要求2.1 服务器:采用高性能的服务器作为主要设备,具备足够的计算能力和存储容量,以满足海量日志的采集和存储需求。
2.2 存储设备:选用高速的存储设备,保证数据的快速读写和存储可靠性。
2.3 网络设备:配置高速网络设备,确保数据的高效传输和稳定连接。
3. 设备软件要求3.1 操作系统:LTE采集解析设备应安装稳定、安全、高性能的操作系统,并定期进行系统更新和安全补丁的安装。
3.2 日志采集软件:选择可靠的日志采集软件,支持多种协议,能够实时采集移动用户上网过程中产生的日志,并以高速传输到存储设备上。
3.3 日志解析软件:采用强大的日志解析软件,对采集到的日志进行解析和分析,提取关键信息,并存储在数据库中,以便后续的查询和分析。
3.4 数据库:选择高效、可靠的数据库软件,用于存储解析后的日志数据。
3.5 安全软件:配置安全软件,包括防火墙、入侵检测系统等,保障日志采集解析设备的安全。
4. 设备部署要求4.1 采集设备部署:LTE采集解析设备应部署在移动网络核心节点附近,以便高效地捕获移动用户上网过程中的日志。
4.2 存储设备部署:存储设备应选用可靠的存储介质,并部署在安全、温控良好的机房中。
4.3 网络设备部署:网络设备应部署在经过合理规划和优化的移动网络环境中,以确保数据的高效传输和稳定连接。
5. 设备监控要求5.1 硬件设备监控:定期对LTE采集解析设备的硬件状态进行监控,包括CPU利用率、内存使用情况、存储空间占用率等,及时发现并处理异常情况。
5.2 软件设备监控:对日志采集软件、日志解析软件、数据库等软件进行监控,确保其正常运行,并及时处理异常情况。
第1篇一、引言随着信息技术的飞速发展,大数据已成为推动社会进步的重要力量。
作为我国通信行业的重要参与者,中国联通拥有庞大的用户群体和丰富的网络数据资源。
通过对这些数据的深入分析,可以洞察用户行为、优化网络服务、提升运营效率。
本报告将从联通网络大数据的采集、处理、分析及应用等方面进行探讨,旨在为我国通信行业的发展提供有益参考。
二、联通网络大数据采集1. 数据来源联通网络大数据主要来源于以下几个方面:(1)用户行为数据:包括通话记录、短信记录、上网记录等。
(2)网络运行数据:包括基站流量、网络质量、故障信息等。
(3)设备运行数据:包括设备状态、性能指标、维护记录等。
(4)市场调研数据:包括用户满意度、市场竞争情况等。
2. 数据采集方式联通网络大数据采集主要通过以下几种方式:(1)实时采集:通过数据采集系统,实时获取用户行为数据、网络运行数据等。
(2)离线采集:通过数据备份、日志分析等方式,获取设备运行数据、故障信息等。
(3)市场调研:通过问卷调查、访谈等方式,获取用户满意度、市场竞争情况等。
三、联通网络大数据处理1. 数据清洗在进行数据分析之前,需要对采集到的数据进行清洗,包括去除重复数据、填补缺失值、处理异常值等。
2. 数据整合将来自不同来源、不同格式的数据整合成统一的数据格式,便于后续分析。
3. 数据建模根据分析需求,建立相应的数据模型,如用户画像、网络质量预测模型等。
四、联通网络大数据分析1. 用户行为分析通过分析用户通话记录、短信记录、上网记录等,可以了解用户的使用习惯、偏好和需求,为产品设计、市场营销等提供依据。
2. 网络质量分析通过分析基站流量、网络质量、故障信息等,可以识别网络瓶颈、预测网络故障,为网络优化和维护提供支持。
3. 设备运行分析通过分析设备状态、性能指标、维护记录等,可以评估设备健康状况,预测设备故障,提高设备运行效率。
4. 市场分析通过分析用户满意度、市场竞争情况等,可以了解市场动态,制定合理的市场策略。
SP上行空号异常行为监测及预警的方法与系统近年来,随着移动通信技术的发展,SP上行空号异常行为监测及预警成为了一项重要的任务。
本文将介绍一种方法与系统,用于实现SP上行空号异常行为监测及预警。
该方法与系统主要分为以下几个步骤:1.数据采集:首先需要收集SP上行空号异常行为的相关数据。
这些数据可以由运营商提供,包括用户的上行短信记录、关机状态及SIM卡归属地等信息。
同时,可以利用数据挖掘技术从这些数据中挖掘出有用的特征信息。
2.特征提取:通过对采集到的数据进行分析和处理,提取出与SP上行空号异常行为相关的特征。
例如,可以提取用户发送上行短信的频率、归属地变更的频率以及关机状态变更的频率等特征。
3.建立模型:利用提取到的特征,建立一个监测模型。
可以采用机器学习的方法,如决策树、支持向量机或神经网络等,根据训练数据来训练模型。
通过模型可以准确地判断一个用户是否存在SP上行空号异常行为。
4.异常行为检测:利用建立的模型对新的数据进行异常行为检测。
将待检测的用户数据输入到模型中,通过模型的输出来判断该用户是否存在SP上行空号异常行为。
如果模型判断该用户存在异常行为,则对其进行后续的预警处理。
6.数据分析与反馈:定期对监测到的异常行为数据进行分析和统计,得出一些有用的结论。
例如,可以分析用户异常行为的时段分布、地域分布、频率变化等情况,以便更好地了解用户的行为规律并采取相应的预防措施。
以上就是一种用于实现SP上行空号异常行为监测及预警的方法与系统。
通过采集数据、提取特征、建立模型、异常行为检测、预警处理以及数据分析与反馈等步骤,可以实现对SP上行空号异常行为的监测和预警。
这将有助于提高移动通信网络的安全性和可靠性,保护用户的权益。
定孑科■执2019年第32卷第6期Electronic Sci.&Tech./Jun.15,2019分布式手机信令数据采集与分析技术研究李媛(中国移动通信集团广东有限公司中山分公司,广东中山258400)摘要针对智能手机端分布范围分散导致的大规模信令数据存储和实时分析处理困难的问题,文中设计了一种基于分布式计算的手机信令数据采集与分析技术方案。
基于分布式信令数据采集技术结构,方案集成了4种分布式数据库以实现分布式信令的数据存储。
另外,结合Spark技术,所设计的分布式信令数据分析模块可以实时对采集的信令进行分析和整合。
该分布式信令数据采集与分析方案可以适用于大规模手机信令数据的采集和处理,为分布式信令监测解决方案的设计提供了参考。
关键词智能手机;分布式计算;分布式数据库;Spark技术中图分类号TN91文献标识码A文章编号1007-7820(2019)06-078-04doi:10.16180/kO issn1007-7820.2019.06.016ResearcC on Distriputed Mobile Phone Signaling Data Acquisition and Analysis TecCnologyLI Yuan(Zhongshan Branch,China Mobile Communications Goup Guangdong Co.,Ltd.,Zhongshan258400,China)AbstracC Aiming at the problem of large-scale signaling data storaye and real-time analysis caused by the dopeooon oothedotoobutoon ooJmaotphoneJ,thopapeodeJogned amoboeephoneJognaeongdataacquootoon and anae-sJoed technoeogsbaJed on dotoobuted computong.ThopapeodeJogned adotoobuted Jognaeongdataacquootoon tech-noeogsJtouctuoeand ontegoateJoouodotoobuted databaJeJtooeaeoaedotoobuted JognaeongdataJtooage.In addotoon,combined with Spark technology,the dOtObuted signaling data analysis module designed in thO paper can analyze and intevrata the collected signaling in real time.The distributed signaling data acquisition and analysised scheme designed in this paper coulO be applied to the collection and processing of large一scale mobile phone signaling data, whoch had c)otaon sognooocanc)ooodostoobutd sognaeongmonotooong.Keywords smart phones;distributed computing;distObuted databases;Spark mchnoOge近年来,随着移动智能终端数量的快速增长和移动数据业务的多元化发展,对移动通信网络服务质量提出了更高的要求。
移动运营商大数据接入方案随着移动通信技术的不断发展,移动运营商面临着海量数据的存储、处理和分析问题。
大数据技术的应用已经成为移动运营商发展的必然趋势。
移动运营商需要将用户的通信、位置、行为等数据进行高效地收集、存储和分析,为用户提供个性化的服务,并为运营商的运营决策提供支持。
本文将结合移动运营商的实际情况,从数据收集、存储、处理和分析等方面,提出移动运营商大数据接入方案。
一、数据收集移动运营商的大数据主要包括用户通信、位置、行为等数据。
这些数据需要从不同的系统中进行收集,包括通信系统、位置系统、计费系统等。
数据的收集需要考虑以下几个方面:1. 数据的全面性:移动运营商需要确保能够收集所有用户的通信、位置、行为等数据,以保证数据的全面性。
2. 数据的实时性:大数据分析对数据的实时性要求很高,因此数据的收集需要能够保证数据的实时性。
3. 数据的准确性:数据的准确性对于大数据分析至关重要,因此数据的收集需要能够保证数据的准确性。
对于数据的收集,移动运营商可以采用流式数据采集技术,实时地将数据从不同的系统中采集到数据湖中。
二、数据存储移动运营商面临海量数据的存储问题。
传统的数据库已经无法满足移动运营商对存储容量和性能的要求,因此移动运营商需要采用分布式存储技术进行数据的存储。
数据的存储需要考虑以下几个方面:1. 存储容量:移动运营商需要保证能够存储海量的数据,因此需要采用可横向扩展的分布式存储技术。
2. 存储性能:大数据分析对存储的性能要求很高,因此需要采用高性能的存储设备。
3. 存储成本:移动运营商需要考虑存储的成本,在满足存储需求的前提下,尽量降低存储的成本。
对于数据的存储,移动运营商可以选择使用Hadoop、Spark等大数据存储和计算框架,这些框架具有良好的横向扩展性和高性能。
三、数据处理移动运营商需要对海量的数据进行处理,以获取有价值的信息。
数据的处理主要包括数据清洗、数据转换、数据聚合等过程。
移动通信的网络故障排查移动通信网络在现代社会扮演着至关重要的角色,确保人们能够畅通无阻地进行通信和数据交流。
然而,由于各种原因,移动通信网络故障可能会发生,导致用户体验受损甚至无法正常通信。
本文将介绍移动通信网络故障排查的方法和步骤,以帮助运营商和维护人员快速定位和解决问题。
一、故障排查前的准备工作在进行故障排查之前,我们需要做一些准备工作,以确保高效地解决问题。
首先,我们需要了解移动通信网络的拓扑结构和各个组件之间的连接方式。
这包括基站、传输链路、核心网等。
其次,我们还需要获得故障发生的详细信息,包括用户的具体问题描述、故障发生的时间和地点等。
最后,确保故障排查工具和设备的准备就绪,例如信号分析仪、性能测试仪等。
二、故障排查步骤1. 收集现场信息通过与用户进行沟通,了解故障的具体情况,包括故障发生的时间、地点、用户所使用的设备等。
同时,收集相关日志和报错信息,以便后续分析和排查。
2. 分析基站和传输链路首先,检查基站是否正常工作。
观察基站的运行状态指示灯,检查天线是否受损或倾斜,检查供电和传输线路是否正常。
其次,检查传输链路的连接情况,确保传输链路的稳定性和可靠性。
3. 检查核心网核心网是移动通信网络的核心部分,负责处理信令和数据传输。
在故障排查过程中,需要检查核心网的运行状态,包括核心路由器、数据库和服务器等。
排除核心网故障对移动通信网络的影响。
4. 信号分析和网络优化使用信号分析仪对信号进行采集和分析,查看信号强度、质量以及干扰情况。
根据分析结果进行相应的网络优化,调整天线方向、增加天线数量等,以提升信号覆盖范围和质量。
5. 性能测试和故障模拟通过性能测试仪对网络进行全面的性能测试,评估网络的容量、带宽和响应时间等指标。
同时,模拟故障,观察故障发生时网络的表现和响应情况,以便更好地了解问题所在。
6. 故障定位和解决根据前面的分析和测试结果,确定故障的具体位置和原因。
比如,如果发现基站之间的传输链路出现问题,可能是光纤断裂或者光模块故障。
远程监控在现代社会中起到了重要的作用。
特别是在蜂窝移动通信网络的发展下,远程监控技术得到了进一步的提升和应用。
本文将围绕如何在蜂窝移动通信网络中进行远程监控展开论述。
一、蜂窝移动通信网络的发展及应用蜂窝移动通信网络作为一种无线通信技术,具备覆盖范围广、用户连接数多、抗干扰能力强等优点,因此得到了广泛应用。
它能够将摄像头所采集的信息通过无线信号传输到监控中心,实现远程监控。
二、远程监控技术的基本原理远程监控技术主要由视频采集、数据传输、图像处理和数据显示等组成。
在蜂窝移动通信网络中,视频监控设备通过摄像头进行画面采集,将信号转换为数字信号后,通过移动网络传输技术将数字信号传送到监控中心。
监控中心对接收到的数据进行解码、解析和图像处理,并将处理好的数据进行显示。
三、蜂窝移动通信网络远程监控的应用场景蜂窝移动通信网络远程监控技术广泛应用于各个领域。
例如,可以实现对家庭的安防监控,当主人离开家时,通过手机远程查看家中情况;还可以应用于企业的生产监控,保障生产过程的安全性和高效性;同时,在城市安保领域,远程监控技术也发挥了重要作用,可以有效实时监测城市中的交通以及公共场所的安全。
四、远程监控的发展趋势随着技术的不断发展,远程监控也呈现出一些新的趋势。
首先,高清晰度的图像采集和传输将成为一种发展趋势,以提高监控的画面质量;其次,人工智能技术的应用将为远程监控带来更多的功能和便利性,例如人脸识别、行为分析等;此外,远程监控技术也将与其他技术进行融合,例如无人机技术,通过无人机进行远程监控。
五、蜂窝移动通信网络远程监控的挑战和解决方法在蜂窝移动通信网络远程监控中,也存在着一些挑战。
首先,由于网络带宽和网络延迟等问题,可能会影响到图像的实时传输和显示,需要对数据进行压缩和优化。
其次,隐私和安全问题也是一个关注的焦点,需要加强对数据的加密和权限管理。
此外,还需要对监控设备的稳定性和可靠性进行提升,避免因硬件故障导致监控中断。
移动通信网络数据采集方法分析
摘要:移动互联网是移动通信与互联网两个概念结合的产物。目前移动通信运
营商3G、4G技术的发展以及Wifi覆盖范围的扩大也使得网速越来越快,用户体
服务需求体验越来越迫切;想用户之所想,急用户之所急的商业竞争地位思维是
需要大量用户数据支撑并分析的前提。因此对用户数据合理采集并不断发掘分析,
才能满足移动互联网用户日益增长的智能化需求。
关键词:移动通信;WAP网关;用户数据
一、概述
目前移动通信网络飞速发展,GSM、TD-SCDMA、CDMA2000以及WCDMA各
制式无线网络基础设施升级换代频繁、核心网3G无线网络与核心网络与2G网络
互相兼容兼容性,各地运营商根据实际需求考虑使用4G、3G与2G三大独立的
无线、接入、核心网络并存的局面。在全网同步引入HSDPA和HSUPA技术的同
时,对2G核心网中对原有GPRS/EDGE网络升级改造。
利用2G网络频率范围在890-960MHz的穿透性强的优势,不仅减轻3G、4G
基站的运维负担,还可以弥补4G网络的覆盖盲区。所以在移动通信用户数据采
集时不能不考虑现存2G网络的丰富数据参考价值。
随着ISO和安卓系统的智能手机的大众化,曾经的GPRS技术里数据经过
WAP网关的处理逐渐弱化,用户终端可接入移动网络经过GGSN网关连接互联网
并访问其内容,2G网络GPRS数据业务和EDGE技术与WAP网关相连。2G时代,
WAP无线协议互联网无直接访问功能,所以添加WAP网关是用户上网。智能手
机之前的Symbian系统处理能力不及PC主机,无论是网速还是现实视频、音频、
互动性媒体、发布主题等等都与宽带互联网甚至光纤入户的PC家用主机电脑无
法匹敌,在2.5G时代,GSM通信系统中的配套设备模块中的WAP网关只能根据
MS手机终端的应别能力进行通信网与互联网的交。
二、移动通信网络数据
移动互联网在2G/3G时代,核心网是两个独立的域,控制语音相关的叫电路
域(CS域:Circuit Switch),控制数据业务相关的叫分组域(PS域:Packet
Switch)。相应的,与语音相关的控制都放在了电路域,比如上面的语音呼叫建
立、返回振铃、判断并执行呼叫转移,业务短信等等。与数据相关的控制则放在
了分组域,比如上面的与因特网服务器(通信网与因特网是两张网)建立数据连
接、区分当前流量是微信还是微博等等。自2G时代以来WAP网关是承载移动数
据业务的网元。
2.1 用户数据
移动通信的空间自由度与互联网的内容形式丰富结合处移动互联网的新品种。
目前移动通信运营商3G、4G技术的发展以及Wifi覆盖范围的扩大也使得网速越
来越快,用户体服务需求验越来越迫切;用户数据分为两种:一种是用户注册信
息将自己的身份识别与手机号码相关联,在信息层面上存入数据库,咋数据层面
上存入HLR中为通信系统的呼叫、寻址、和计费分配信道等工作提供服务;另一
种是指通过无线基站近乎于log日志的形式,使用户主观意愿被动或不知情的前
提下在系统存储设备上记录用户位置更新,小区切换,小区重选等为用户提供的
移动通信服务功能。这类数据的产生不由用户的主观意愿为选择,是为了完成一
次通信系统用户漫游的一个必要手段和环节,但是在数据分析挖掘研究者看来,
是有着非常意义的数据内容,通过数据的数据清洗:去重、去噪声、去错误、插
值等异常处理;数据集成:统一单位、去掉冗余、选择感兴趣属性列;数据变换:
数值归一化、离散化处理;数据脱敏:去隐私化,截断与加密;数据演绎:特征
构造,根据原有的一个或多个特征创建出新的特征并填充。获得群体用户的地理
位置特征,在不同时段的移动基站下的人流密度,绘制出人口出行交通时段的密
度可视化图等等,通过对用户数据不断发掘分析,才能满足移动互联网用户日益
增长的智能化需求。
2.2 数据分析
在3.5G的LTE网络体系架构中,WAP/Web网关处在PGW后与外网互通,功
能等同于PDSN,其余接口并没有什么功能变化。经过BTS(基站)、传输设备、
BSC\RNC等至PDSN(分组数据支持节点),在2G网络中发至WAP网关的数据
分流发至智能设备;由设备开启用户TCP连接,解析主机的URL用户请求、判断、
处理,经过鉴权处理合法用户,允许通过防火墙转达请求接至互联网提供链路连
接分配IP地址提供服务,如果是欠费或非法用户拒绝原服务请求。从移动互联网
的智能手机应用端的使用业务流量角度来分析,用户通过终端经过移动互联网接
入Internet网络不同的APP有不同的流量特征,例如连接应用程序:电子邮件、
即时通讯、GPS导航、远程访问;商业应用程序:移动银行服务、股市跟踪与交
易、文件处理及日程规划;日常生活类应用程序:电子商务、账单支付、健康监
测、数字阅读与社交;娱乐应用程序:新闻、游戏、多媒体播放器、照片及视频
编辑器。
三、研究方法
3.1 数据流收集器
部署于SGSN和GGSN之间,并且不仅仅移动电话产生的流量会被记录,上
网卡所产生的流量也会被记录。流量记录中包含了时间、手机号、服务器IP、数
据传输大小、数据类型等信息。本课题根据这些信息建立了流量权值图(简称流
量图)。其中,手机号和服务器IP分别对应流量图中的不同节点,手机号向服务
器IP的数据传输代表了流量图的边,从服务器-IP到手机号是流量图中对应边的
方向,数据传输大小代表了流量图中边的权值。通过上述对应方法,为不同类型
的流量数据建立了各自的流量图。并在流量图的基础上,对网络流量传输数据进
行了分析。
3.2 技术路线
SGSN与无线分组控制器之间同过Gb口连接,实现移动数据的管理;与归属
位置寄存器通过Gr口连接,实现对用户数据库的访问控制;与GGSN通过Gn口
连接,进行IP数据包的传输以及协议变换。本文通过部署Gb接口(SGSN与BSS
之间)的PC端截取数据流之后,用网络爬虫软件对数据进行初步的收集。Gb接
口是传递转达SGSN和BSC之问的信令和用户数据的功能。用户通过移动终端将
请求发给BTS,再通过基站子系统连接传输网络,Gb接口是终端入网的必经接口。
本文是从Gb接口拦截移动互联网产生的数据,并对数据尽情分类,聚类等数据
挖掘方面的研究。原始数据由Gb接口得到,进行深层次的分析,不仅能够实时
地了解当前的网络质量,还能发现移动用户的网络行为。以SGSN作为研究对象,
GPRS是GPRS服务节点(Service GPRS Support Node)是移动通信核心网的重要组
成部分,也是分组交换的核心部分。研宄流经具体SGSN的网络业务流量、接入
用户数以及访问记录数的情况,以此来表征网络中具体节点的业务情况。
结束语
当前的三代移动通信系统(2G\3G\4G)并存的移动互联网环境中,移动互
联网流量中虽然WAP流量不能构成主流的移动用户流量的主要组成部分,原有
的WAP内容正逐渐被WEB内容所代替。本文所研究在移动互联网环境下,关于
个人用户数据隐私保护的数据挖掘相关问题。采取从基础的移动互联网机制下的
显示存在的“混搭”网络为数据研究出发点,深入分析地研究不同代移动通信系统
所组成的网络中产生的互联网用户数据。针对每个个人为基本单位内容,采用“理
论建模→方法论证→实验认证”的研究方法。随着移动数据接入的蓬勃发展,WAP
网关面临着各种问题。但是作为数据分析方,需要的是广而全的数据,数据挖掘
用户行为不是仅仅需要少数服从多数的统计,无论是Symbian系统的MS移动终
端使用GPRS技术通过WAP网关访问WML 语言编写的网站,还是早已去电路域
依靠软交换全网IP化实现核心网部分的网关转接传递,每一个bit流量都代表这
一个用户一个群体的价值与意义。所以现网并存的三代移动通信系统的数据全面
采集的多样性,才能展现其内在隐藏的特征,才是正确的得到数据揭示真理的第
一步。
参考文献:
[1]王璐.移动互联网用户行为分析[D].重庆:重庆邮电大学,2016.
[2]赵其朋.WAP网关应对移动互联网大流量的改造及演进[J].广州:移动通信,
2014.
[3]李威.移动互联网用户行为分析研究[D].北京:北京邮电大学2014.