2021年中位物联网大数据平台总体设计V1.0
- 格式：doc
- 大小：68.51 KB
- 文档页数：19
欧阳光明（2021.03.07） 物联网大数据平台
总体设计V0.2
李拓 2015.10
目录 1.引言3 1.1.文档目的3 1.2.文档范围3 1.3.预期的读者及阅读建议3 1.4.术语3 2.项目概述4 2.1.项目背景4 *欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 3.1.设计目标4
3.1.1.技术规划路线建议4 3.1.2.大数据软硬平台/网络架构规划建议5 3.1.3.大数据应用集成点规划建议5 3.1.4.大数据团队建设规划建议5 3.1.5.大数据系统实施指导建议方案5 3.数据平台总体架构规划5 3.1.数据平台愿景5 3.2.数据处理流程8 3.3.主要功能8 3.4.设计原则9 3.5.平台建设路线9 4.数据平台软件架构设计10 4.1.数据平台结构图10 4.2.数据采集系统11 4.3.数据存储系统11 4.4.离线计算系统12 4.5.海量数据库系统12 4.6.管理系统13 *欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 5.应用平台架构设计14
5.1.应用平台架构图14 6.平台安全15 7.平台监控15 8.部署架构15 9.平台运维15 10.团队建设16 10.1.运维工程师16 10.2.应用开发工程师16 10.3.通信协议开发工程师16 10.4.基于Hadoop的开发工程师16 10.5.数据开发工程师16 10.6.数据挖掘工程师17
1. 引言 1.1. 文档目的 本文档是关于xx公司物联网大平台的总体架构设计方案。本文包括以下内容：
1. 平台总体架构设计； *欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 2. 五大子系统设计；
3. 应用平台设计 4. 平台部署架构设计； 5. 平台运维及团队建设； 1.2. 文档范围 本文档仅限于北京xx科技公司内部人员和直接协助北京xx科技进行大平台建设的相关人员阅读。
1.3. 预期的读者及阅读建议 本文档的预期读者： 1. 北京xx科技的大平台项目相关人员； 2. 直接协助北京xx科技进行大平台建设的相关外部人员； 1.4. 术语
1. Hadoop: Apache的分布式框架。 2. HDFS : Hadoop的分布式文件系统。 3. NameNode : Hadoop HDFS元数据主节点服务器。负责保持DataNode文件存储元数据信息。
4. JobTracker：Hadoop的Map/Reduce调度器，负责与TackTracker*欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 通信分配计算任务并跟踪任务进度。
5. DataNode：Hadoop数据节点，负责存储数据。 6. TaskTracker：Hadoop调度程序，负责Map,Reduce 任务的具体启动和执行。
7. Kafka : 消息队列。 8. Netty : NOI框架。 2. 项目概述 2.1. 项目背景 1. 随着业务的增加，数据采集存储备份能力严重不足 2. 数据处理分析能力无法满足业务的需要 3. 公司业务创新转型的需要 3.1. 设计目标 xx的大数据平台主要是为车辆、人员、物联网提供终端接入、数据分析，并为行业应用提供数据接口。平台建成后，初期可接入百万级的终端，可承载多种业务及应用。随着业务增长，平台可以动态扩容，最终可实现千万级、亿级终端的接入及数据分析处理能力。 *欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 本文档针对xx的大数据平台应用需求，结合数据的特点，
提出未来公司整体的系统架构，以充分满足公司在3到5年内的业务增长和数据增长需求。并且在企业总体系统架构的基础上，提出系统的软硬件的具体选型方案，以及提供大数据平台整体规划，分步实施和推广的建议；提供大数据平台产品整合、集成、系统优化、稳定性等建议方案。
1.1.1. 技术规划路线建议 对xx大数据平台系统进行总体规划，与现有的交通部数据中心以及各个业务系统进行对接，以适应未来3到5年内公司业务发展的要求。
1.1.2. 大数据软硬平台/网络架构规划建议 从需求的数据量、计算量、应用的场景、功能、性能等因素来配置软硬件平台的建议；
提出具体的系统总体架构和软硬件部署结构建议； 1.1.3. 大数据应用集成点规划建议 Hadoop数据集成、应用集成、运维管理设计建议； 1.1.4. 大数据团队建设规划建议 对xx技术团队的人员需求和配置情况以及所需要掌握的技*欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 能提出建议 ；
1.1.5. 大数据系统实施指导建议方案 提供大数据平台整体规划，分步实施和推广的建议；提供大数据产品整合、集成、平台化的建议系统优化、稳定性等建议方案。
3. 数据平台总体架构规划 3.1. 数据平台愿景 如上图所示，xx的大数据平台最终建成后，应该是一个完备的数据服务平台，包括数据平台、应用平台、数据产品以及内部运行支撑应用环境，该平台上的用户既包括外部用户，也包括企业内部用户，既有最终用户，也有应用开发人员以及数据分析和数据开发人员。
1. 数据服务平台组成 数据平台：是数据的集散地。数据平台的主要目标是存储和处理海量数据，该平台除了汇聚xx所有的业务数据和用户数据之外，还有合作机构的相关数据，其核心功能包括数据采集、同步与集成、海量数据存储、海量数据处理框架、海量数据仓库等。该平台的用户主要有数据分析用户和数据开发用户，这两类用户在数据平台上*欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 进行数据分析及数据集成、建模与挖掘。
应用平台：应用开发人员开发基于数据平台的车辆监控、人员监控、物品监控等应用并部署在应用平台，供最终用户访问。该平台的建设目标是处理海量http请求，其核心功能包括应用服务器、分布式缓存、分布式消息队列、分布式文件系统、分布式数据库以及分布式简单存储等。
内部运行支撑应用环境：该环境主要供企业内部用户将使用，包括商业智能、运营支撑、系统运维、分析应用等。该数据产品由大数据平台开发人员进行研发。
数据产品：当该平台稳定运行一段时间之后，企业根据业务发展的需要，可以开发专门的数据产品，对外提供数据服务，供最终用户使用。该数据产品由大数据平台开发人员进行研发。
2. 数据服务平台的用户划分 应用开发用户：xx内部的技术研发人员，主要结合具体业务，开发基于数据平台的应用，并部署到应用平台；
数据分析用户：xx内部的技术研发人员，主要基于数据平台中的海量数据，进行业务数据分析，指导生产运营； *欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 数据开发用户：xx内部的技术研发人员，主要基于数据
平台中的海量数据，进行数据建模、集成和挖掘，在指导生产运营的同时，挖掘新的利润增长点；
内部数据产品用户：包括各条业务线上的各类业务人员如客服等。
外部用户：合作机构如运营商、银行、商户，终端用户、企业用户等。
3. 位置信息数据源 数据平台可以从第三方平台(交通部数据中心、运营商)或定位中端（车机、sim卡）等采集位置、状态等信息。
无论是企业内部用户，还是企业外部用户，无论是技术研发人员还是业务人员，他们既是平台数据的生产者，同时也是平台数据的消费者。集存储、计算、分析于一体的大数据平台，涵盖了xx业务数据的全生命周期管理，既符合现在行业大数据企业发展的趋势，也最终体现了xx企业的最终最内涵的价值。
3.2. 数据处理流程 xx大数据平台的数据处理流程如上上图所示。对各类终端产生的结构化和非结构化数据源首先通过数据采集平台进行数*欧阳光明*创编 2021.03.07 *欧阳光明*创编 2021.03.07 据采集，然后进入海量存储计算处理平台，生成各种多维数
据，供应用服务平台调用，支持最终的用户访问。
3.3. 主要功能 结合xx的当前业务发展现状，目前xx的大数据平台重点解决三类典型需求：
1. 业务数据归集、备份与可靠存储 2. 离线数据分析挖掘 3. 实时查询统计分析 针对这三类需求，大数据平台在数据采集和运营管理的辅助下，分别提供存储系统、离线计算系统和海量数据库系统，分别满足上述三类需求。下面首先介绍平台的软件架构设计。
3.4. 设计原则 1. 采用基于Hadoop的开源技术路线 2. 整合公司的终端数据、员工、客户、计算、存储等所有资源于一体
3. 平台涵盖公司数据生产、存储、挖掘、分析、服务等全生命周期管理
4. 结合业务线，分析挖掘和业务支持等应用自主研发
