大数据平台的架构设计和实现

龙源期刊网

某广电单位大数据平台架构设计

作者：孟莲蓉

来源：《科技资讯》2016年第07期

摘 要：某局的大数据平台架构设计中，共有12个组件。计算框架采用Lambda架构，同时管理实时计算框架和离线计算框架，数据经过数据采集服务初步验证过滤，记录到消息队列Kafka中，之后，同时进入到Hadoop和storm中分别用于离线和实时计算。

关键词：大数据平台 离线计算 Hadoop 实时计算 Storm Kafka Mongodb

中图分类号：TP27 文献标识码：A 文章编号：1672-3791（2016）03（a）-0006-03

某局期望实现设备运行数据、业务管理数据和各业务系统数据的规范传送、标准化整理和存储，建立全局统一的数据关系明确的主题数据库或数据仓库，为全局各应用系统提供规范的数据交换服务以及对基础数据的管理。主要任务是：建立全局数据中心，基于大数据云平台和两级数据交换中心，实现各级业务系统基础数据的统一规范化管理；初步实现全局设备及其状态以及运行质量、趋势、故障等的可视化分析建模及展示。该文主要阐述平台的架构设计。

1 大数据平台架构

BDM（Big Data Management，大数据管理平台）整体架构由下向上，从底层硬件逐步构建。

（1）硬件设施层：提供最基础的硬件系统。

（2）虚拟化层：在硬件设施层之上，将硬件资源虚拟化，将服务器集群资源统筹管理。

（3）数据存储层：完成海量数据的分布式存储。提供数据备份和容灾，采用Hadoop框架的HDFS分布式存储引擎、分布式消息队列Kafka、分布式文档型内存数据库和关系型数据库。

（4）数据服务层：包括，数据装载读写、数据分析处理编程框架和数据查询等。数据处理工具完成服务层与数据存储层间的数据交互，提供友好的数据操作界面。

龙源期刊网

基于大数据架构的智能电网可视化平台的设计与实现

作者：徐磊 马庆峰 王庭钧

来源：《科技创新导报》2017年第07期

摘 要：大数据技术在电力系统智能调度领域具有广阔的应用前景，涉及电网状态监测与诊断、电能损耗分析、负荷分布式控制、用户侧短期用电负荷预测、在线安全稳定分析及智能预警等多个方面。大数据技术的深入应用将对我国未来电力生产经营模式的转变及其可持续发展，特别是智能电网建设产生深远影响。

关键词：智能电网 可视化平台 大数据

中图分类号：TM72 文献标识码：A 文章编号：1674-098X（2017）03（a）-0125-02

基于大数据架构的智能电网可视化平台的建设，进一步巩固提升了三集五大和SG-ERP建设成果，通过与其他子项统一数据接口，提升了现有平台对电力大数据的存储、计算、分析和管控能力。运用物联网及云计算技术，提升了对海量用电信息采集、处理与分析能力，用户能耗分析，用电方案优化能力，电力负荷预测分析能力，配电网故障抢修精益化分析能力，构建了以业务趋势预测、用电行为数据价值挖掘为主的大数据服务体系，实现了与智能电网总体工程中各子项的全方位集成。通过多媒体动画技术，三维虚拟现实技术及Flash等技术，实时、直观地反映了保定电谷智能电网的建设成果并对智能电网的各项业务进行实时监控。

1 系统架构

1.1 整体架构

智能电网可视化平台将整体采用大数据技术架构进行构建，容纳全景的电网状态数据，包括电网运行、检修和能量采集过程中产生的海量、异构、多态的数据集合。智能电网大数据信息平台提供的海量数据和云计算模式，在提供高性能的并行处理能力的基础上，大数据技术不仅可以实现智能调度领域的高级应用，同时还能解决状态检测、电能损耗分析等领域所遇到的问题，并在负荷分布式控制和用户侧短期负荷预测方面取得突破。

大数据 技术架构解析

作者：匿名出处：论坛2016-01-22 20:46

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。

一、大数据建设思路

1)数据的获得

大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。

2)数据的汇集和存储

数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。 数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。

3)数据的管理

大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。

4)数据的分析

数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

企业级大数据平台的架构设计与实现

随着信息技术的不断发展和应用场景的广泛拓展，企业级大数据平台的建设逐渐成为了当今企业信息化建设的重要组成部分。在大数据平台的设计与实现中，平台的架构建设显得尤为重要。

一、大数据平台的设计思路

企业级大数据平台的设计思路需要以“数据驱动、服务导向、模块化、高可用、安全性”为核心要素。首先，数据驱动是指企业建设大数据平台要从数据出发，以增强数据能力为核心，构建各种数据实时处理模型以及对数据进行索引和检索等相关操作，提升数据处理的效率。其次，服务导向是指将企业级大数据平台设计成一个面向业务、面向应用、便于开发的服务模式，为企业提供高效、稳定、可靠的数据服务。此外，模块化设计是大数据平台设计过程中一个重要的思路，即将整个平台按照功能、用途的不同进行分割成模块，使得单个模块的开发、测试以及发布部署都更加简单高效。同时，高可用以及安全性是大数据平台设计必须考虑的两个极其重要的方面，企业级大数据平台通过高可用的设计，使得服务能够快速响应，提供极高的稳定性和可靠性；同时，考虑到数据安全的问题，平台需要设计出高强度安全策略，加强数据层面的防范措施。

二、大数据平台架构设计

如何设计出一个高效、稳定、可靠的企业级大数据平台，是企业级大数据平台设计过程中的一个重要问题。企业级大数据平台的架构需求主要体现在对大规模数据的分布式储存、快速数据处理和丰富数据展现的需求上。大型企业级大数据平台需要包括数据获取层、数据存储层、数据处理层和数据可视化展示层等四个关键模块。

1. 数据获取层

数据获取层是整个大数据平台中最基础的模块，负责接收企业内部或者外部数据源的所有输入。对于数据获取层的设计，需要考虑数据源的多样性、规模性，同时还需要考虑数据格式以及数据接收的效率，优化数据传输的速率，并利用分类算法自动对数据进行分类。

2. 数据存储层

数据存储层是企业大数据平台中最核心部分之一。对于大规模的数据进行统一的管理和规划是其最基本的要求。在设计存储层时需要考虑到数据的性能、容量以及数据的备份和恢复等问题。在架构设计过程中，一般是将数据存储层设计成一个分布式系统，通过多台服务器进行数据分片部署，在实现存储容量扩展的同时提升系统的性能，降低单点故障带来的风险。