下载文档原格式
A c a d e m i c F o r u m /学术论坛1571 引言1.1 交通现状随着城市规模的不断发展，城市人口数量和汽车保有量不断增加。
据国家统计局公布的数据，2019年末我国汽车保有量为26 150×104辆。
在发展过程中，我国城市交通暴露出了一系列的问题，集中体现在几个方面：第一，城市交通的基础建设速度无法满足日益增长的交通需求；第二，常规公共交通乘坐量少，而出租车、私家车数量迅速增加；第三，轨道交通刚起步，交通管理技术水平尚停留在低级阶段。
1.2 智慧交通2009年，智慧交通的理念被提出，智慧交通是在整个的交通领域充分融合云计算、移动互联、物联网等新一代的信息技术，综合使用系统方法、知识挖掘、人工智能等理论与工具，以科学决策、全面感知等为目标，通过建设动态信息服务体系，深度挖掘交通运输相关数据，推动交通运输更安全、更高效地运行和发展。
2 交通大数据可视化平台搭建内容平台分为数据预处理、算法和模型、集群部分、数据传输与处理、服务器端以及客户端等子模块，形成了从数据采集到分析、应用的一体化服务。
实时汇总了各类社会信息、互联网信息等，通过汇聚、整合、标准化处理等步骤，形成了标准化的分类交通大数据信息，通过以上各模块的协作，平台完成了如下功能：（1）实时分析用户的出行与驻留情况，提取驻留时间、驻留地点等属性。
（2）实时判断用户出行的出行方式，提取用户出行速度，出行时间等属性。
（3）实时展示地区内人群的聚集情况，提取区域的拥挤程度、异常聚集等特殊情况，并在此基础上预测未来区域的聚集程度发展。
（4）实时展示道路的拥挤程度，提取早高峰晚高峰等信息，并在此基础上预测未来道路的拥堵程度。
（5）针对用户的出行数据，对用户的出行偏好进行挖掘，为用户出行偏好贴标签。
（6）对个体数据进行汇总，分析挖掘出整个区域(省、市)的交通情况，并生成针对该区域的交通分析报告。
（7）对以上的数据进行图表可视化以及大屏展示。
![一种基于大数据的服务平台管理系统[发明专利]](https://img.taocdn.com/s1/m/4b7283adb307e87100f6963e.png)
专利名称：一种基于大数据的服务平台管理系统专利类型：发明专利
发明人：彭军
申请号：CN201910902293.5
申请日：20190923
公开号：CN110706067A
公开日：
20200117
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于大数据的服务平台管理系统，包括线上交互平台、监管系统、服务管理终端，线上交互平台包括招商咨询模块、建材流通模块，监管系统包括建材信息登记模块、建材使用反馈模块、问题上报交互模块；本发明通过建立线上交互平台，为建设方以及供货方提供交互的便利；建设方可根据需求发布相关建材信息，供货方可根据经营范围发布商品信息，方便双方进行选择，方便了商家市场开拓；通过建立投标室，有利于建设方选择性价比高的建材；通过对交互的整个过程进行记录监管，保障了双方的权益，同时也保证了建材使用的安全性；利用大数据服务平台的监管，自动进行供货提醒，智能化程度高，提高了工作效率。
申请人：江西毕姆工程技术有限公司,江西中昌建筑规划设计院有限公司,江西中昌工程桩基检测有限公司
地址：330000 江西省南昌市西湖区桃苑大厦二区A座三楼
国籍：CN
代理机构：北京联瑞联丰知识产权代理事务所(普通合伙)
代理人：黄冠华
更多信息请下载全文后查看。
![一种大数据的数据接入统一管理平台[发明专利]](https://img.taocdn.com/s1/m/b509fb8468dc5022aaea998fcc22bcd127ff4276.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202110085764.5(22)申请日 2021.01.22(71)申请人 辽宁长江智能科技股份有限公司地址 110000 辽宁省沈阳市沈抚新区金枫街75-1号1501(72)发明人 丁武 胡泉 李林 陈学志 于洋 (51)Int.Cl.G06F 16/25(2019.01)G06F 9/50(2006.01)G06F 16/18(2019.01)G06F 16/2458(2019.01)(54)发明名称一种大数据的数据接入统一管理平台(57)摘要本申请提供了一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台。
通过设置统一的接入管理平台，可以针对具有不同输入、输出方式的处理功能及对应数据进行统一管理，不再需要各数据采集环节分别编写独立程序或脚本，有效降低开发、维护难度，也显著提高了平台的性能及稳定性。
权利要求书1页 说明书5页 附图2页CN 112818045 A 2021.05.18C N 112818045A1.一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台；其中，所述高可用+负载均衡模块连接所述数据采集集群模块，所述数据采集集群模块连接所述数据计算集群模块，所述分布式协同模块输出端连接所述数据采集集群模块及所述数据计算集群模块，所述WEB统一管理调度平台连接所述高可用+负载均衡模块、所述数据采集集群模块及所述数据计算集群模块。
2.根据权利要求1所述的平台，其特征在于：所述高可用+负载均衡模块为两层结构的负载均衡架构，即第一层的LVS处理模块和第二层的Nginx负载均衡模块，中间通过Redirect联通两层架构。
![一种基于大数据的数据采集平台的实现方法及系统[发明专利]](https://img.taocdn.com/s1/m/f5976cd86394dd88d0d233d4b14e852458fb3929.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201610653618.7(22)申请日 2016.08.11(71)申请人 南京联成科技发展股份有限公司地址 210000 江苏省南京市高新区南京软件园团结路99号孵鹰大厦A座14F(72)发明人 李木金 凌飞 (51)Int.Cl.H04L 29/08(2006.01)(54)发明名称一种基于大数据的数据采集平台的实现方法及系统(57)摘要本发明公开了一种基于大数据的数据采集平台的实现方法及系统，包括协议代理、应用代理、实时消息交换中心和数据库。
本发明通过数据采集平台的各种不同协议代理、应用代理模块，以及实时消息交换中心之间的松耦合和即插即用，实现了对安全设备、网络设备、数据库和中间件等的漏洞、配置、安全事件、网络故障等信息的实时采集、实时预处理和实时存储，提升了安全运维服务平台的实时性能和可扩展性。
权利要求书1页 说明书13页 附图2页CN 107733941 A 2018.02.23C N 107733941A1.本发明提供了一种基于大数据的数据采集平台的实现方法及系统，所述方法及系统包括协议代理、应用代理、实时消息交换中心和数据库如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述协议代理，负责及时接收各种被管设备的消息，并将它发送到数据采集平台的实时消息交换中心。
2.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述实时消息交换中心，负责接收各个协议代理发送过来的消息，并按照其优先级，及时地发送到相应的应用代理中。
3.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述应用代理，负责实时地处理所述实时消息交换中心发送过来的消息，包括：告警/事件过滤、告警/事件归并压制和告警/事件的标准化。
4.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述数据库，负责及时地存储所采集的告警/事件的信息。
![一种通信大数据的处理系统[发明专利]](https://img.taocdn.com/s1/m/46ade04a1611cc7931b765ce05087632311274be.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810762880.4(22)申请日 2018.07.12(71)申请人 厦门华厦学院地址 361024 福建省厦门市集美区天马路288号(72)发明人 陈明明 王宁 陈亮 汤丽华 刘云龙 (74)专利代理机构 北京彭丽芳知识产权代理有限公司 11407代理人 彭丽芳(51)Int.Cl.H04L 29/08(2006.01)(54)发明名称一种通信大数据的处理系统(57)摘要本发明公开了一种通信大数据的处理系统，包括大数据处理服务器中心、网络层、计算机网关、无线通信网络、卫星转发器、用户终端A、数据采集终端A、控制终端A、用户终端B、数据采集终端B和控制终端B。
本发明结构简单，操作方便，通过计算机网关网关通过网络层与大数据处理服务器中心实现用户终端A、数据采集终端A以及对控制终端A控制操作；无线通信网络和卫星转发器与大数据处理服务器中心相连实现了用户终端A、数据采集终端A以及对控制终端B操作控制；本发明实现了大数据的快速采集、大数据的稳定传输；基于大数据的物联网对控制终端的远程控制操作。
权利要求书1页 说明书3页 附图2页CN 109040196 A 2018.12.18C N 109040196A1.一种通信大数据的处理系统，其特征在于：包括大数据处理服务器中心、网络层、计算机网关、无线通信网络、卫星转发器、用户终端A、数据采集终端A、控制终端A、用户终端B、数据采集终端B和控制终端B；所述大数据处理服务器中心包括大数据中心、大数据综合分析中心和大数据处理中心；所述用户终端A、数据采集终端A与计算机网关通过信号线路相连接；所述计算机网关通过网络层与大数据处理服务器中心相连接；所述大数据处理服务器中心通过网络层和计算机网关与控制终端A相连；所述用户终端B、数据采集终端B通过无线通信网络与卫星转发器相连接；所述卫星转发器通过无线通信网络与大数据处理服务器中心相连；所述大数据处理服务器中心通过无线通信网络和卫星转发器与控制终端B相连接。
![基于移动通信网络的信息发布系统及方法[发明专利]](https://img.taocdn.com/s1/m/07b114de0b4c2e3f56276392.png)
专利名称：基于移动通信网络的信息发布系统及方法专利类型：发明专利
发明人：崔鹏
申请号：CN200510132953.4
申请日：20051229
公开号：CN1863331A
公开日：
20061115
专利内容由知识产权出版社提供
摘要：本发明公开一种基于移动通信网络的信息发布系统，包括：业务数据中心，用于存储和管理用户属性信息；通信网络交换设备，用于提供特定区域内的移动通信网络的用户身份信息；网络探测代理，用于从通信网络交换设备获取特定区域内的用户身份信息；设备信息中心，用于从网络探测代理获得和管理该特定区域内的用户身份信息；信息平台，用于从来自设备信息中心的用户身份信息过滤出目标用户；从业务数据中心查询目标用户的用户属性信息，并根据该用户属性信息针对性地发出信息；通信网络信息服务设备，用于将信息平台发出的信息转发到用户终端。
本发明还公开一种基于移动通信网络的信息发布方法。
申请人：华为技术有限公司
地址：518129 广东省深圳市龙岗区坂田华为总部办公楼
国籍：CN
代理机构：北京集佳知识产权代理有限公司
代理人：逯长明
更多信息请下载全文后查看。
专利名称：一种基于移动信令的客流统计方法及装置专利类型：发明专利
发明人：冯杰,钱军波,林翀云,凌啼,金振
申请号：CN201510289287.9
申请日：20150529
公开号：CN106295787A
公开日：
20170104
专利内容由知识产权出版社提供
摘要：本发明提供了一种基于移动信令的客流统计方法及装置，涉及大数据分析领域，所述客流统计方法包括：获取预定区域内移动终端的移动信令事件；根据获取的移动信令事件，得到所述预定区域内的与移动终端对应的用户的位置信息；根据所述移动信令事件和所述位置信息，统计所述预定区域内指定时间段内用户的客流量。
本发明提供的客流统计方法通过全面采集移动信令事件，得到用户的相关位置信息，这样能够相对完整地体现用户的位置轨迹，以用于景区等区域的客流统计分析。
申请人：中国移动通信集团浙江有限公司
地址：310006 浙江省杭州市环城北路288号
国籍：CN
代理机构：北京银龙知识产权代理有限公司
更多信息请下载全文后查看。
一种基于大数据平台的移动通信信令系统谢识常目录摘要 (2)1.背景 (2)2.系统框架 (3)3.系统关键模块 (3)3.1 系统采集、解析、存储方式 (4)3.2 数据的建模设计 (5)4．数据处理中的关键技术 (6)4.1 Hadoop基础 (6)4.2 基础数据采用Hbase数据库存储 (7)4.3 汇总KPI数据使用Hive构建数据仓库 (8)4.4 上层应用查询考虑Impala数据查询工具 (9)4.5 Spark计算框架的引入 (11)4.6 硬件架构参考 (13)5.结论 (15)6.鸣谢..................................................................................... 错误!未定义书签。
摘要信令系统是运营商日常运维的重要支撑手段。
现阶段数据业务急剧增长，基于传统数据库的信令平台对信令数据的处理越来越困难。
本文探讨一种基于大数据平台的移动通信信令系统。
先给出系统的主要框架，论述数据处理的流程，已经讨论系统涉及的关键大数据技术，最后给出一个硬件的配置参考样例。
1.背景2012年广州在全国率先建设TD-LTE试验网络，2014年广州4G网络正式商用。
现阶段数据业务需求猛增、流量急速增涨。
移动需要四网协同(WLAN、LTE、3G、2G)，做到集中管理、实时维护网络存在的问题，及时处理网络故障。
信令是网络交流的语言，网络的管理与优化需要完善的信令系统的支撑。
随着用户、业务、信令数据的急剧膨胀，基于传统数据库的信令系统已经很难满足网络运维优化的实时、存储及分析要求。
例如，2015年广州本地信令系统对于4G KPI指标只能做到15分钟粒度的统计，现在客户感知越来越敏感，5分钟内的指标监控能提高网络运维侧响应网络故障与隐患的主动性；此外，随着信令数据膨胀，传统数据库不能做到线性增加，数据库分表、分库操作复杂，存储效率低，广州本地信令系统由于数据库调整造成不可用的时间越来越长；另外，在网络数据的价值挖取当中也缺乏灵活手段，目前只能按几种固定的时空、网元、目的IP等维度的统计。
大数据技术的日益成熟，在通信领域运用越来越广。
更多运营商开始部署基于大数据平台的信令系统。
基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提供解决方案的综合分析优化平台。
对于移动信令分析，大数据首先是面临着越来越多的海量数据挑战；其次，要通过合适的分析处理，从大量数据中分析出工程人员需要的数据，区分出重点数据及非重点数据，分辨出哪些数据是实时需要的，哪些数据是需要存储，为以后工程人员查询所需要的，并形成实时网络性能管理、故障性能告警、客户感知预警、客户投诉处理、市场营销支撑等应用功能及数据模块。
本文探讨一种基于大数据平台的移动信令系统。
2.系统框架信令系统通常采取分层结构设计，应用功能松耦合设计，具有优点是缩短应用上线周期，降低开发成本。
从下往上分为：采集层、存储计算层、接口层以及应用层。
（1）采集层：在移动核心网的主要网络接口部署分光设备，分光器出来的原始信令为原始码流，经由汇聚分流设备后，解析生产原始话单xDR；xDR再经过清洗、抽取、转换操作后入库。
采集层可不断扩展，获取更多的数据源。
（2）存储与计算层：是整个系统的核心部分，主要解决数据的实时计算、以及xDR话单的长期存储、预统（轻度汇总数据）的生成与存储，其他数据的存储，并通过共享模块，实现数据共享。
（3）应用层：可通过多种接口方式，实现与共享层的数据交互。
图2.1 信令系统分层框架3.系统关键模块应对海量数据的高效处理、存储，多种类型数据的处理图3.1 数据处理流程3.1 系统采集、解析、存储方式1、数据采集与解析原始信令由专门的采集解析服务器对原始信令数据进行采集解析；目前广东采取统一的采取汇聚平台。
筛选后的原始信令保存在采集机本地存储，建立信令索引，提供信令回放、信令流程查询。
解析后的信令形成XDR，送给信令汇总模块进行关联回填和各种维度的KPI预统计。
关联回填后的XDR数据以及单用户单业务记录发送到Hadoop集群存储，利用Hadoop并行列存储的特性，容易实现线性扩容。
2、数据存储数据加载集群，可实现xDR等文件的临时缓存。
对不同数据采取不同存储方式：XDR话单文件，则使用Hbase数据库+HDFS方式存储(当前存两周) ；汇总数据，采用MPP数据库长期存储，使用的是Hive/Impala+HDFS 。
3、数据装载共享平台前置加载集群，用于接收获取统一采集平台等上传XDR话单文件；通过加载集群，向处理集群提供缓存的原始数据，可用于数据恢复、库外预统；通过加载集群，提供应用层和统一采集平台之间的通道，提供第三方数据接口（简单处理或透传给应用层）。
4、数据处理数据汇总，按照多种维度进行数据汇总提高查询速度，减少存储空间。
数据关联处理，多张数据表，多种xDR类型进行联合处理，形成OLAP分析结果数据聚合处理，按全省对各个地市进行聚合等，通过聚合处理，形成OLAP分析结果。
数据计算，进行各种维度的KPI指标计算。
在处理流程上，可以理解为，我们采用库内，以及库外两种处理方式。
3.2 数据的建模设计为了满足多样的应用层数据需求，需要对数据建模：多租户模式，为不同权限的用户提供其所拥有访问权限的数据。
每种应用都会对其抽象为一个数据模型，系统根据数据模型，生成相关的应用实现。
大型信令平台通常在一个省集中部署，须考虑多租户模式。
多租户模式容易出现数据和集群资源管理混乱的情况，可考虑建立统一调度平台，实现数据统一化管理，任务合理调度，集群资源按需分配。
多租户模式下，数据的安全性是重要问题，集群需要将不同用户的数据统一管理运维，对不同用户的数据进行权限隔离。
用户通常是Hadoop集群的省公司内不同部门或者不同地市公司。
Hadoop可以对不同文件目录给不同用户赋予不同权限，实现数据统一管理。
通常可以建立三级目录：第一级为用户级，不同用户拥有自己的私用目录，每个用户不能访问其他用户，同时设置公共目录，集群用户可访问公共目录。
第二级根据数据类型划分，第三级跟进时间划分，对数据规范存放。
数据建模体系可以大概按以下分层：1)数据装载层：缓存明细数据，网管数据，根据源系统的数据模型进行建模；2)基础数据层：存储经过处理的明细数据3)数据仓库层：存储基础数据层的汇总数据，根据数据仓库的维度建模4)数据集市层：面向主题分析的汇总数据，面向应用建模采用分层、分功能建模1)原始数据建模使用分布式文件的存储和设计方法2)基础数据和明细应用数据建模使用Hbase的建模方法3)不同维度汇总数据和计算结果使用Hive/Impala的建模方法图3.2 数据处理模块4．数据处理中的关键技术本小结介绍信令系统中应用的关键技术，包括：Hadoop基础、Hbase、Hive、Impala、Spark。
4.1 Hadoop基础Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase。
1、HDFSHadoop Distributed File System，简称HDFS，是一个分布式文件系统。
HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。
MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
Mapreduce是一种编程模型，是一种编程方法，抽象理论。
核心包括map函数和reduce函数，map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
map函数：接受一个键值对（key-value pair），产生一组中间键值对。
MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。
reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。
4.2 基础数据采用Hbase数据库存储移动信令中的xDR明细数据存入Hbase列式数据库。
Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。
这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。
除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。
总的来说，Hbase能够让你在大量的数据中查询记录，也可以从中获得综合分析报告。
图4.1 Hbase存储示意图HBase不是一个关系型数据库，它需要不同的方法定义你的数据模型，HBase实际上定义了一个四维数据模型，下面就是每一维度的定义：•行键：每行都有唯一的行键，行键没有数据类型，它内部被认为是一个字节数组。
•列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。
在引擎中，HBase将列簇存储在它自己的数据文件中，所以，它们需要事先被定义，此外，改变列簇并不容易。
•列修饰符：列簇定义真实的列，被称之为列修饰符，你可以认为列修饰符就是列本身。
•版本：每列都可以有一个可配置的版本数量，你可以通过列修饰符的制定版本获取数据。
4.3 汇总KPI数据使用Hive构建数据仓库Hive是建立在 Hadoop 上的数据仓库基础构架。
Hive 的查询是通过 MapReduce 框架实现的，是为实现针对海量数据的高性能处理而设计的。
Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据，可以进行复杂的查询。
另外，HiveQL可以运用任何语言自定义mapper和reducer脚本，具有极大的可扩展性，实现非常复杂的查询。
Hive采用HDFS进行数据存储并利用MapReduce框架进行数据操作；所以从本质上来说，Hive就是个编译器，它把用户的操作（查询或者 ETL）变换成M/R任务，利用M/R 框架执行这些任务对HDFS 上的海量数据进行处理。
Hive被设计成一种批处理系统。
它利用MapReduce框架来处理数据。
因此，它在MapReduce任务提交和调度上有比较高的开销。
