金融机构大数据平台建设

2017年第8期信息与电脑China Computer&Communication数据库技术

智慧水务大数据平台建设

林景秀

（珠海水务集团有限公司，广东 珠海　519000）

摘　要：笔者阐述了智慧水务大数据平台的架构设计及实施建议，并说明了子系统珠海供水实时监控系统的建设情况，

阐述了大数据平台建设所需资源。智慧水务作为智慧城市的一部分，是体现城市管理信息化水平的标志之一，是智慧城

市发展的必然产物。希望该研究为同行提供一定的参考。关键词：智慧水务；大数据平台；珠海水务实时监控系统

中图分类号：TP399-C3 文献标识码：A 文章编号：1003-9767（2017）08-156-05

The Construction of Intelligent Water Data Platform

Lin Jingxiu

(Zhuhai Water Group Co., Ltd., Zhuhai Guangdong 519000, China)

Abstract: The author expounds the design and implementation of the intelligent water data platform and illustrates the construction of Zhuhai water supply real-time monitoring system, and expounds the resources needed for the construction of

large data platform. As one part of the wisdom city, the intelligent water affair is one of the signs of the information level of the

city management, and is the inevitable outcome of the development of the smart city. It is hoped that this study will provide

--

-- 大数据平台建设方案

(项目需求与技术方案)

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。

1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信--

-- 息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

三、建设原则

大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。 --

162 •电子技术与软件工程 Electronic Technology & Software Engineering数据库技术 • Data Base Technique

【关键词】大数据 金融 应用平台

一般而言，以大数据为技术基础的互联

网金融数据平台的构建需要包括三个过程。第

一过程是基础数据来源，通过数据收集整理，

分析来自云计算设施、互联网设施、收集APP

客户端的市场数据。第二过程是数据整理分析

过程。具体而言涉及到数据的挖掘、筛选、甄

别、归类、存储等过程。数据整理分析过程是

一个庞大繁杂的数据处理过程，需要用到数学

原理、经济学原理、统计学原理等基础理论性

知识，还要用到人工智能、云计算、数据库等

现代化信息技术。这一过程的主要目的是为了

给企业内部的上级管理层的决策提供切实、可

靠的价值信息，确保企业高层决策更加合理科

学。第三过程是数据的应用过程。通过数据收

集及分析整理过程后，可以建立相关的数据分

析应用模型。企业决策机构结合数据分析应用

模型和企业当前生产运营情况、现阶段市场需

求和客户购买力、企业未来的发展目标便可以

实现产品的精确化生产及市场投放。

1 建设互联网金融大数据应用平台应用

现存问题

1.1 数据处理异构化

随着信息技术的进一步革新与变更，大

数据应用平台在数据收集、分析、整理过程中

面临着数据异构化的问题。究其原因，主要体

现在以下几个方面。

（1）数据信息的数据源数据类型有所改

变。目前绝大多数数据信息的数据源都由原来

的结构化数据逐步地转变为以半结构化和非结

构化数据为主的数据类型，数据信息的数据源

类型更加灵活多样化。

（2）数据信息来源更加广泛，由之前的PC、服务器演变为以移动设备客户端为主。

（3）数据存储方式变化较大。这给数据

信息的集成转换增加了更大的挑战。

1.2 市场营销风险防控体系有待完善

市场经济的蓬勃发展也滋生了过多的威

胁企业营销安全的潜在风险性因素。一方面，

来源于外部市场的不明确、低质量数据信息量互联网金融数据平台建设

大数据平台建设方案

1. 引言

随着互联网的发展和技术的进步，大数据已经成为企业获得竞争优势和实现可持续发展的关键。大数据平台的建设是企业实现数据驱动决策的基础，本文将介绍一套完整的大数据平台建设方案。

2. 建设目标

大数据平台的建设目标是实现数据的高效收集、存储、处理和分析，以及提供可靠的数据服务支持决策和业务发展。

3. 技术架构

大数据平台的技术架构包括数据采集、数据存储、数据处理和数据分析等核心组件。 3.1 数据采集

数据采集是大数据平台的第一步，要从多个数据源收集和整合数据。可以使用各种数据采集工具，如日志收集工具、爬虫工具和传感器等。采集的数据要经过清洗和转换，以确保数据的质量和一致性。

3.2 数据存储

大数据平台需要具备可扩展的数据存储能力，以应对不断增长的数据量。常用的数据存储方式包括分布式文件系统和分布式数据库等。数据存储应具备高可用性、高性能和可靠性。

3.3 数据处理

数据处理是大数据平台的核心功能，主要包括实时处理和批处理。实时处理可使用流处理框架，如Apache Kafka和Apache Flink；批处理可使用分布式计算框架，如Apache Hadoop和Apache Spark等。 3.4 数据分析

数据分析是大数据平台的重要应用场景之一，可以通过数据挖掘和机器学习等技术对数据进行分析和挖掘，以发现数据中的模式、规律和趋势，支持决策和业务发展。

4. 方案实施

大数据平台的建设需要进行全面的规划和实施。以下是一个具体的大数据平台建设实施流程：

4.1 确定需求

首先，需要明确大数据平台的需求，包括数据的来源和用途，以及业务的需求和目标。需求分析是建设大数据平台的基础，可以帮助选择适合的技术和工具。 4.2 技术选型

根据需求分析的结果，可以进行技术选型。需要考虑数据采集、数据存储、数据处理和数据分析等方面的技术选型，选择适合的开源或商业工具和框架。

4.3 平台搭建