基于手机信令数据的交通时空大数据分析挖掘系统
- 格式：pdf
- 大小：1.56 MB
- 文档页数：9
文档推荐
-
中国联通信令大数据助力政府精细化治理页数:45
-
中国移动LTE信令大数据分析业务规范页数:106
-
信令大数据定位分析探讨页数:3
-
分析常用数据信令页数:2
下载文档原格式
合集下载
基于大数据技术的智能交通系统设计与优化
基于大数据技术的智能交通系统设计与优化智能交通系统是基于大数据技术的创新应用，旨在提高道路交通效率、减少交通事故、改善交通环境。
本文将从系统设计和优化两个方面探讨智能交通系统的基本原理和应用。
一、智能交通系统设计1. 数据采集与传输智能交通系统的设计首先需要建立一个稳定可靠的数据采集与传输系统。
该系统主要采取传感器、摄像头、雷达等设备，通过集成网络和无线通信技术，将采集的交通数据传输到后台服务器。
2. 数据管理与存储大数据技术是智能交通系统的核心支持，对于海量的交通数据，系统需要建立高效的数据管理与存储机制。
采用分布式数据库和数据仓库，能够快速处理和存储大量的实时交通数据。
3. 数据分析与挖掘智能交通系统的数据分析与挖掘模块是整个系统的关键。
通过数据挖掘算法和机器学习技术，对交通数据进行深层次的分析，提取交通流量、拥堵情况、道路状况以及车辆轨迹等信息，为交通管理者提供决策支持。
4. 智能优化调度基于大数据分析结果，智能交通系统能够实现智能优化调度。
通过预测和优化算法，合理调整交通信号灯的配时，优化路况分配和路线规划，降低交通拥堵，提高交通效率。
二、智能交通系统优化1. 交通流量预测与控制基于大数据的智能交通系统可以通过实时数据分析和建模，预测交通流量的变化趋势。
通过交通流量预测，交通管理者能够制定更合理的交通控制策略，避免交通事故和拥堵。
2. 路网优化与规划智能交通系统可以通过分析历史交通数据，优化道路网络结构和规划交通基础设施的建设。
通过合理的交通分布和交通导向，能够有效分流车辆，缓解交通拥堵。
3. 信号配时优化智能交通系统能够通过分析交通流量和拥堵状况，实时优化交通信号配时。
通过智能交通信号控制系统，能够根据实时交通情况调整信号灯的红绿灯时间，以达到最优的交通流通效果。
4. 出行模式推荐基于大数据分析和挖掘，智能交通系统能够为用户提供个性化的出行模式推荐。
根据用户的出行需求、交通状况和个人习惯等因素，推荐最优的出行方式，提供导航、公共交通和共享出行等多种选择，实现出行方式的智能化和个性化。
空间KMeans挖掘算法在基于手机信令的OD分析中的应用
空间KMeans挖掘算法在基于手机信令的OD分析中的应用作者：孙强来源：《科技资讯》2018年第36期摘要：在基于手机信令的OD分析应用中，利用空间Kmeans挖掘算法可以对目标群体实时交通状态信息和动态出行调查，进而识别出用户出行方式，构建城市绿色交通的具体方案。
关键词：Kmeans挖掘算法手机信令大数据 OD分析中图分类号：U49 文献标识码：A 文章编号：1672-3791（2018）12（c）-0014-02Abstract： In the application of OD analysis based on mobile signaling， spatial Kmeans mining algorithm can be used to detect real-time traffic status information and dynamic travel survey of target groups， and then identify user travel mode， and construct a specific scheme of urban green traffic.Key Words： Kmeans mining algorithm； Mobile signaling； Big data； OD analysis基于运营商移动网络定位技术可以在用户无感的情况下实现用户群体定位。
移动网络定位技术有多种，典型且建设成本较低的有两种，分别是“Cell ID定位技术”和“比邻小区测量定位技术”。
“Cell ID定位技术”使用终端服务小区基站位置作为手机位置，定位速度快，但是精度随扇区大小而变化，一般是1～3km。
“比邻小区测量定位技术”通过测量终端与相邻3个基站的距离，根据基站坐标计算终端位置。
基于建设成本、实施难度的考虑，本文使用“Cell ID定位技术”[1]，此技术建设成本低，定位速度快，虽然精度不高，但是可以满足客户群的定位、跟踪等需求。
基于手机信令数据的高速公路客流特征分析——以广深高速为例
担深圳市内部短途交通。
断面 2 （宝安）
图 7 客流居住地分布
2.
断面 1 （麻涌）
断面 1 （麻涌）
图6
断面 2 （宝安）
客流起终点分布图
图8
断面 2 （宝安）
客流工作地分布
(下转第 46 页)
46
广 东 交 通 职 业 技 术 学 院 学 报
locity estimation in induction and salient AC machines
Characteristics Based on Cell Phone Signaling Data
——Taking Guang-shen Expressway as an Example
LUO Yun
(Guangdong Province Communications Planning &
Design Institute Co., LTD, Guangzhou 510507, China)
深高速断面 1 （麻涌） 上客流来源较广，起终点
主要在广州、东莞、佛山及深圳等地；广深高速
断面 2 （宝安） 80%客流的起终点位于深圳。
7
4.2 客流的职住地分布
根据对客流手机信令数据的分析，断面 1
（麻涌） 客流主要居住地为东莞、广州、深圳、
佛山等，客流来源较广；断面 2 （宝安） 客流主
要居住地为深圳，占比达 84.9% （图 7）。
客流的工作地分布情况基本和居住地分布情
况一致，穗莞深地区工作和居住地分离的情况相
对较少 （图 8）。
断面 1 （麻涌）
断面 1 （麻涌）
图5
断面 2 （宝安）
客流起终点分布数据
断面 2 （宝安）
图 7 客流居住地分布
2.
断面 1 （麻涌）
断面 1 （麻涌）
图6
断面 2 （宝安）
客流起终点分布图
图8
断面 2 （宝安）
客流工作地分布
(下转第 46 页)
46
广 东 交 通 职 业 技 术 学 院 学 报
locity estimation in induction and salient AC machines
Characteristics Based on Cell Phone Signaling Data
——Taking Guang-shen Expressway as an Example
LUO Yun
(Guangdong Province Communications Planning &
Design Institute Co., LTD, Guangzhou 510507, China)
深高速断面 1 （麻涌） 上客流来源较广，起终点
主要在广州、东莞、佛山及深圳等地；广深高速
断面 2 （宝安） 80%客流的起终点位于深圳。
7
4.2 客流的职住地分布
根据对客流手机信令数据的分析，断面 1
（麻涌） 客流主要居住地为东莞、广州、深圳、
佛山等，客流来源较广；断面 2 （宝安） 客流主
要居住地为深圳，占比达 84.9% （图 7）。
客流的工作地分布情况基本和居住地分布情
况一致，穗莞深地区工作和居住地分离的情况相
对较少 （图 8）。
断面 1 （麻涌）
断面 1 （麻涌）
图5
断面 2 （宝安）
客流起终点分布数据
大数据背景下基于手机信令的道路识别研究
大数据背景下基于手机信令的道路识别研究杜翠凤;余艺【摘要】The paper mainly focuses on handover signaling of mobile phone which is able to match road and identify road user. Speciifcally, collaborative ifltering algorithm was innovatively adopted to match mobile handover signaling with “maximum weight path” in road test. The urban main roads in Baoding city were selected to be validated. The match of user signaling information processing with road was analyzed. The feasibility of road recognition based on mobile phone signaling was veriifed. The achievement provides data support to statistical analysis of trafifc lfow.%研究主题是如何利用手机用户产生的切换信令数据进行道路匹配，完成道路用户识别。
其基本原理是创新性地采用协同过滤的算法将手机用户的切换信令与通过路测产生的“最大权重路径”实现道路匹配。
选取保定城市主干道为实验路网进行验证，对用户信令信息处理和道路匹配进行分析，证明了基于手机信令的道路识别的可行性，该成果将会为交通人流量的统计分析提供数据支撑。
【期刊名称】《移动通信》【年(卷),期】2015(000)013【总页数】4页(P21-24)【关键词】手机信令;切换序列;最大权重路径;协同过滤;道路识别【作者】杜翠凤;余艺【作者单位】广州杰赛科技股份有限公司，广东广州 510310;广州杰赛科技股份有限公司，广东广州 510310【正文语种】中文【中图分类】TP3911 引言采用手机信令数据进行道路识别是当前国内外交通工程研究的重点、难点。
基于手机信令定位数据的居民出行时空分布特征提取方法
基于手机信令定位数据的居民出行时空分布特征提取方法李祖芬;于雷;高永;吴亦政;龚大鹏;宋国华【摘要】为了得到可靠的居民出行时空分布特征,并为城市交通规划提供准确的出行现状数据,基于手机信令定位数据设计了提取居民出行时空分布特征的方法。
通过对重复冗余的手机数据进行处理、运用地理信息系统将手机数据映射至所研究的交通区域、划分交通小区、定义出行识别、建立OD矩阵及绘制出行期望线等出行数据挖掘,得到了居民的出行时空分布特征。
为了验证设计方法的可行性,以北京市的手机信令定位数据为例,提取出北京市居民的出行时空分布特征,并将所得的结果与北京市第4次综合交通调查的数据进行对比得出：两者的出行时间分布特征平均偏差为0.78%,早晚高峰进出城方向比例的偏差为0.1,全市的出行发生量与吸引量的平均偏差均小于3%。
【期刊名称】《交通运输研究》【年(卷),期】2016(002)001【总页数】7页(P51-57)【关键词】手机信令定位数据;时空分布;居民出行;OD矩阵;期望线【作者】李祖芬;于雷;高永;吴亦政;龚大鹏;宋国华【作者单位】[1]北京交通大学城市交通复杂系统理论与技术教育部重点实验室,北京100044;[2]德克萨斯南方大学理工技术学院,美国休斯顿77004;[3]北京交通发展研究中心,北京100161;[4]加利福尼亚大学戴维斯分校土木与环境工程系,美国戴维斯95618【正文语种】中文【中图分类】U491.1第2卷第1期| 2016年2月居民的出行时空分布特征主要包括居民的出行时间分布、出行流量及方向，其能够反映居民的交通需求在时间、空间上的分布，不仅能为城市的交通规划提供出行现状数据信息，也能为解决交通拥堵、提高道路通行效率等提供数据支持。
其中，有效、实时的交通信息的获取是交通规划及决策的基础。
而传统的交通信息采集方法（人工调查法和固定式交通信息采集技术）具有调查及维护成本高、传感器损坏率高、实时性较差及采集的交通数据精度较低等缺点［1］。
基于手机的交通信息采集系统研究
基于手机的交通信息采集系统研究发表时间：2019-11-14T11:04:26.017Z 来源：《科学与技术》2019年第12期作者：陈波[导读] 近几年来，随着社会和经济的发展，计算机技术也得到了快速发展，在这个背景下，智能交通系统逐渐出现，并且得到了广泛的应用，各种交通信息采集系统也开始被应用于交通信息管理中。
摘要：近几年来，随着社会和经济的发展，计算机技术也得到了快速发展，在这个背景下，智能交通系统逐渐出现，并且得到了广泛的应用，各种交通信息采集系统也开始被应用于交通信息管理中。
各种交通信息采集方法都具有一定的优点，但是不可否认的是依旧有一定的局限性，只应用一种检测技术无法获得交通的所有信息，所以，需要将手机应用到交通信息采集中，这样就可以根据短信及时获取交通信息。
关键词：手机；交通信息；采集系统引言在交通信息采集过程中，手机是非常重要的一种工具，这是因为手机自身带有短信功能和定位功能，手机用户在出行时其位置信息可以通过信息采集系统进行收集和处理。
就目前来说，交通信息采集的方法有很多种，但是，单独使用这些信息采集技术也无法取得良好的效果，因此，需要在交通信息采集过程中应用手机，在结合路况分析的基础上可以提高采集信息的准确度，也可以提高交通信息服务的水平。
1交通信息采集技术交通信息包括很多方面的内容，就目前交通信息采集技术来说，主要人工调查法和交通检测技术两种。
第一，人工调查法，这种方法主要是通过相关设备对交通信息进行收集，根据不同的调查目的和对象制定不同的调查表格。
第二，交通检测技术，这种技术主要是将交通信息检测设备固定的某一处进行信息采集。
首先，环形线圈检测器，这种检测器是使用比较广泛的车辆检测器，其工作原理是利用环形线圈和反馈线路组成一个电路。
其次，微波检测器，其主要是利用多普勒效应的原理，架设发射天线，向路面发射微波，车辆经过时微波会被反射到天线，检测器将会测出不同的变化，从而确定车辆的状况。
基于手机信令数据的交通出行分布模型研究
交通科技与管理7智慧交通与信息技术作者简介：毛晓汶（1989-）,女,福建建瓯人,研究生,工程师,主要从事交通规划、建设项目前期工作。
基于手机信令数据的交通出行分布模型研究毛晓汶（重庆城市综合交通枢纽（集团）有限公司,重庆 400000）摘 要：由于城镇化进程加快且各城市特性均不相同，传统的出行调查法和出行分布模型存在一定局限性。
因此为弥补现有方法、模型不足，本文以重庆一小时经济圈为例，通过手机信令获得海量出行数据，然后在以往的交通分布模型基础上，结合城市特性选取适宜模型进行参数重标定，从而得到适合重庆的交通分布模型，以便更切实、精确的获得预测数据，也可为其他城市针对自身特性更新交通分布模型提供参考依据。
关键词：交通出行调查；手机信令；出行分布模型；参数标定；重庆一小时经济圈0 引言由于城镇化进程不断加快且各城市的自身条件、经济发展、文化背景各不相同，以往的交通分布模型大多都较为宽泛，没有针对性的结合城市自身交通特性来进行研究，因此预测的结果较缺乏真实性和精确性。
此外，在调查交通出行数据时，传统的交通调查方法显现出了局限性，特别是针对大区域调查时劣势更加凸显。
在信息化技术发展的不断催化下，通过数据挖掘技术获得公交刷卡[1]、手机信令[2]等海量时空数据已成为新的技术手段，再通过数据的处理可为交通预测提供更有价值的信息。
在数据挖掘方法中的手机信令是指移动用户的手机终端和移动通信网络主动或被动地、定期或不定期地保持着联系，而移动通信网络将这些联系识别成一系列的控制指令[3]。
手机信令数据的提取方法主要是从移动通信系统中通过监测通信接口，对信令进行解析，而获得手机发生切换的数据[4]。
因此，本文针对以往交通调查方法和交通分布模型的缺陷，以重庆市为例通过居民手机切换定位获得手机信令数据，然后对数据进行提取获得出行数据，再选取适合的交通分布模型，结合城市交通特性进行参数标定，进而得到适宜的参数，为此在更切实反映城市交通分布情况和更精确预测出行分布量同时，也可为其他城市结合自身特性进行交通需求预测时提供参考借鉴。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Computer Science and Application 计算机科学与应用, 2020, 10(8), 1471-1479 Published Online August 2020 in Hans. http://www.hanspub.org/journal/csa https://doi.org/10.12677/csa.2020.108154
文章引用: 卢梦丽, 邬思强, 陈长超, 冯时超, 李伟. 基于手机信令数据的交通时空大数据分析挖掘系统[J]. 计算机科学与应用, 2020, 10(8): 1471-1479. DOI: 10.12677/csa.2020.108154
Traffic Spatiotemporal Big Data Analysis and Mining System Based on Mobile Phone Signaling Data
Mengli Lu, Siqiang Wu, Changchao Chen, Shichao Feng, Wei Li* School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou Jiangxi
Received: Jul. 26th, 2020; accepted: Aug. 10th, 2020; published: Aug. 17th, 2020
Abstract This paper builds a pseudo distributed big data environment, and takes the user’s mobile phone signaling data as the data set. The data processing mainly includes six steps: data input, data cleaning, data buffering, data processing, data storage and data visualization. Firstly, flume’s tail-dir source is used to clean the mobile phone signaling data, and the data processing algorithm is designed and processed by spark programming. Then the processing results are stored in redis, MySQL and HBase databases to analyze the population thermal density, user residence and travel behavior. It creates the springboot background, references the Gode map API, and visualizes the processed data, which is convenient for the traffic management department to control the traffic situation and dispatch the vehicles.
Keywords Thermal Diagram, OD Diagram, Dwell Diagram, Travel Analysis, Big Data, Mobile Phone Signaling
基于手机信令数据的交通时空大数据分析挖掘系统
卢梦丽，邬思强，陈长超，冯时超，李 伟* 江西理工大学信息工程学院，江西 赣州
收稿日期：2020年7月26日；录用日期：2020年8月10日；发布日期：2020年8月17日 *通讯作者。 卢梦丽 等 DOI: 10.12677/csa.2020.108154 1472 计算机科学与应用
摘 要 搭建大数据伪分布式环境，将用户手机信令数据作为数据集，数据的处理主要经过数据输入、数据清洗、数据缓冲、数据处理、数据存储和数据可视化六步。首先采用Flume的Taildir Source清洗手机信令数据，通过设计数据处理算法，利用Spark编程处理，之后将处理结果存入redis、mysql、Hbase数据库中，来分析人口热力密度、用户驻留和出行行为。创建SpringBoot后台，引用高德地图API，将处理所得的数据可视化，方便交通管理部门对交通状况的掌控和交通工具的调度。
关键词 热力图，OD图，驻留图，出行分析，大数据，手机信令
Copyright © 2020 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY 4.0). http://creativecommons.org/licenses/by/4.0/
1. 引言 近年来，全世界对大数据应用的关注日益提高，不断在数据中挖掘其内在潜力和价值。大数据在集成和组合数据上具有优势，可帮助形成高效的智能调度能力，优化公共交通信息资源的配置，同时辅助制定出较好的统筹协调方案。 交通信息化的核心技术逐渐转向智能交通。采用信息化的技术方法，让政府以及交通管理部门能及时了解整体的交通状况，根据实际数据做出准确的客流分析并提出切实可效的策略，解决现有的交通问题。 手机信令数据是一种新型的大数据源，与其他类型的数据相比，其具有实时性、完整性、出行时空全覆盖性等其他数据源所不拥有的优势，在各类规划中尤其是交通大数据分析中具有独特的应用优势。另外，作为人们生活中必不可少的交流工具，手机通常一直在工作，故数据记录时间长。而且生活中手机的普及率较高，几乎所有城市居民都可以通过移动手机进行监控，而无需额外的成本[1]。 国外方面，文献[2]提出能够识别用户驻留地点的方法，将测试用户作为实验样本研究用户的出行特征和规律。文献[3]中作者开发一种基于手机数据的智能工具，帮助交通管理机构探索市民的移动规律和优化公共交通。 国内方面，吴乃星[1]等将手机信令数据作为数据集，分析出行需求的空间结构、连续空间分布特征和人口区域运动规律，将分析结果以OD图、密度图和流线图的形式可视化。杨飞[4]通过手机定位平面坐标对用户进行追踪，获取居民运动状态，分析活动位置的集中特征，来得到用户的出行OD数据。 本文以手机信令数据作为数据集，搭建大数据伪分布式环境，将数据清洗后，根据设计的算法处理得到用户分布密度数据、出行轨迹数据、出行方式数据，之后开发数据可视化后台系统将数据直观地呈现给系统的用户。
2. 系统整体架构 以用户手机信令数据作为待处理数据，数据的处理主要分为数据输入、数据清洗、数据缓冲、数据处理、数据存储和数据可视化六步。首先在Linux系统下配置数据处理每个步骤所需的环境，然后设计数据处理的数据流向，具体的设计如图1数据处理过程设计图所示。 卢梦丽 等 DOI: 10.12677/csa.2020.108154 1473 计算机科学与应用
Figure 1. Data processing process design diagram 图1. 数据处理过程设计图
数据清洗：将原始数据输入到flume进行数据清洗，得到所需的数据并存入kafka中准备处理。 数据处理：spark从kafka中读取数据并对其进行处理。 数据存储：将处理后的不同类型的数据分别输出到实时性要求不同的redis、mysql和HBase中存储。 数据可视化：创建springboot架构的web后台，分别从redis、mysql和HBase中读取需要的数据传到前端页面进行展示。
3. 系统算法设计 3.1. 数据说明 本文采用手机信令数据。数据内容包含原始数据.csv、基站经纬度数据.csv和出行方式静态数据.csv三份数据。数据的详细内容如表1所示。
Table 1. Data details table 表1. 数据详细信息表
原始数据.csv 信息记录开始时间(timestamp)，用户识别码(imsi)，基站位置区码(lac_id)，扇区编号(cell_id)，信息记录结束时间(timestamp1)
基站经纬度.csv 经度(longitude)，纬度(latitude)，基站信息(laci) 出行方式静态数据.csv 经度(longitude)，纬度(latitude)，交通方式(mode)，站名(mode_name)，线路(mode_num)
3.2. 数据清洗 数据清洗使用Flume的Taildir Source从原始数据.csv文件读取数据并使用自定义的flume Interceptor对其进行清洗，数据清洗操作分为如下三类： 1) 筛选出需要的数据项并去除数据项缺失的数据； 2) 数据不合法与日期不是2018年10月03日的数据； 3) 将原始数据中的时间戳转换为日期格式。 设计了三个步骤的判断： Step1：判断数据项是否完整，用于筛除数据项有缺失的数据； 卢梦丽 等 DOI: 10.12677/csa.2020.108154 1474 计算机科学与应用
Step2：判断数据项是否合法，刷去数据项格式不正确的不合法数据； Step3：最后判断是否为指定日期的数据，得到目标数据存入Kafka。
3.3. 数据处理算法设计 数据处理判断对象均为坐标，故以k，v键值对的形式存储[基站位置，基站id]，对从kafka获取的数据中的基站位置进行匹配并替换为基站坐标。数据处理的数据流均为从kafka中获取，在Spark中处理，之后实时数据存入Redis，离线部分数据存入Mysql。具体的处理步骤和算法设计如下所示： 1) 热力图数据处理 以基站为单位，统计某一时间点每个基站内包含的人数[5]，同时结合人口的移动情况。具体的算法设计如图2所示。经过处理后，得到[坐标，权值]形式的数据。
Figure 2. Heat map data processing flowchart 图2. 热力图数据处理流程图
如图所示，将数据从Kafka中取出后保存用户的数据，然后判断id是否匹配、坐标是否匹配和基站是否已被记录。根据不同的判断结果对于权值和坐标进行不同的操作。 2) OD图数据处理 以基站对为单位，统计出某一时段从一个基站到另一个基站的人数[6]，可实时刷新也可查看历史记录。通过对从Kafka中取出的数据判断其id、坐标和时间，来确定是否对地区迁徙权值进行+1操作。设计具体步骤如下： Step1：获取kafka中缓存数据，存入Map[id,坐标，时间]格式数据； Step2：匹配到与当前id相同的Map； Step3：获取该Map的坐标和时间，判断用户上个坐标和当前坐标是否相同； Step4：判断上一个坐标—>当前坐标的迁徙是否被记录。被记录过，该地区迁徙权值+1，否则存入该地区迁徙，权值为1。