1 / 18
旅游研究院大数据挖掘与分析
科研平台建设方案
2 / 18
一. 背景
1.1 数据挖掘和大数据分析行业背景和发展趋势
移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。
据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。
最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。 3 / 18
数据共享交换平台解决方案
1. 概述
在我国，政府职能正从管理型转向管理服务型，如何更好地发挥政府部门宏观管理、综合协调的职能，如何更加有效地向公众提供服务，提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术，加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。
随着电子政务建设的不断发展，政府拥有越来越多的应用数据，如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用，是电子政务建设的更高级的阶段和核心任务。
信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛”和“孤岛”，也才能创造价值。目前各级政府都在进行政务资源数据的“整合”，但“整合”什么？如何“整合”？“整合”后做什么？将是摆在政府各级领导面前的首要问题。
北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势，为各级政府机构的实际需求提供了政务资源整合的综合解决方案——华迪宏图数据共享交换平台。
2. 电子政务总体框架
华迪宏图数据共享交换平台总体框架如下：
由上图可以看出，华迪宏图数据共享交换平台交换体系共分为六个层次，分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。
（1） 展示层
通过建立综合信息集成门户系统为用户提供统一的用户界面，信息和应用通过门户层实现统一的访问入口和集中展现。
（2） 应用层 应用层提供满足面向各类用户依据实际需求开展业务的需要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应用、社会救助应用等。
（3） 共享交换平台层
共享交换平台层为城市数据共享交换平台所在位置，连接各类应用和应用所需的信息资源，组织和整合各类数据、组件和服务。数据共享交换平台层为实现应用层各种应用系统的搭建和运行提供支撑服务，包括目录服务系统、交换服务系统、安全服务系统和平台管理系统等。交换平台还提供了资源目录管理体系。目录服务主要提供目录注册、目录发布、目录查询、目录维护等功能，能够实现各类基础资源和共享资源目录信息的统一汇集和管理
华胜天成数据交换平台解决方案
（secfree整理）
一、平台应用背景
随着社会各界对信息化应用部署的逐步深入，信息系统都积累了一定量的数
据，数据已成为企业、政府的核心资源，我们发现在不同架构、不同地域的环境
下进行信息资源的交换与整合的问题正越来越被重视。
目前，在政府和企业中的电子政务如“四库十二金”和电子商务如EDI
（Electronic Data Interchange）的应用经常面临信息孤岛的问题。由于系统
环境的不一致，数据库环境的不一致，以及数据格式的不一致等因素，造成的数
据传递机制的不一致，从而导致各业务系统之间的数据无法传递，或者无法在同
一系统中的异构数据环境间传递数据。同时，随着业务的发展，分支机构遍布全
国、全球的情况日益增多，地域跨度大，网络环境复杂，也造成了信息互通的障
碍。
因此，各业务系统间的互联互通、信息共享、业务协同是电子政务和电子商
务深入发展最迫切需要解决的问题，而解决这些问题的关键就在于如何在各系统
间进行安全、有效地数据交换。数据交换平台因此应运而生。
二、平台简介
业界普遍采用的对系统、信息整合方式是通过消息集成方式来完成，消息与
具体操作系统、数据格式、网络协议无关。消息的通讯、管理通常由消息中间件
完成，数据交换平台基于的消息中间件是IBM MQ，是事实上的消息中间件的
工业标准。 数据交换平台是一款基于消息中间件，易使用、易管理、高效率的集中
控制应用整合平台。平台的目标是将分散建设在若干应用信息系统中的资源进行
整合。通过计算机网络构建出一个信息交换的平台。数据交换平台是一个标准化、
架构良好的、面向最终用户的系统平台。能够实现不同数据库，应用系统，操作
系统间的数据交换。 三、平台体系结构
系统由交换管理中心和交换前置组成。
交换管理中心负责对各个交换前置的交换内容、采集数据格式、交换方式进
行管理，并对各个节点的健康度、交换过程进行统一的监控。
交换前置负责对异构、异地系统的采集、对接。
银行大数据解决方案
一、项目背景
2015年8月31日，国务院印发了《促进大数据发展的行动纲要》，这一战略性文件为我国大数据发展与应用提供了指导纲领和政策保障。在数据已成为银行重要资产和宝贵资源的形势下，《纲要》也为银行利用大数据推动转型发展指明了方向和实施路径，带来了发展新机遇。
当前中国银行业正在步入大数据时代的初级阶段。经过多年的发展与积累，目前银行业的数据量已经达到100TB以上级别，并且非结构化数据量正在以更快的速度增长。银行业在数据方面有天然的优势：一方面，银行在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据，这些数据在运用专业技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行具有较为充足的预算，可以吸引到实施大数据的高端人才，也有能力采用大数据的最新技术。
总体来看， 尽管大数据在银行业的应用刚刚起步，目前影响还比较小，但是从发展趋势来看，应充分认识大数据带来的深远影响。银行业需要进行统一的大数据平台建设，建立综合预测分析体系，整合生产系统数据资源。在此基础上与《纲要》规划的信用信息共享交换平台和公共机构数据统一开放平台有效对接，双管齐下扩展数据来源和采集渠道。这可以一方面高效收集、有效整合企业和社会公共数据，掌握企业真实需求，实现精准营销。尤其可通过农业农村信息综合服务和农业资源要素数据共享，获取三农数据和小微企业数据，解决数据挖掘和分析难点，提升三农和小微金融服务水平。另一方面利用平台动态监控企业经营及个人信用变化情况，强化信用风险智能化管理和预警，降低信用评估、风险控制的难度和不确定性，实现风险管控和精准营销的双重收益。
二、银行大数据平台总体框架
银行大数据平台框架概述
银行大数据建设是基于已有的信息化基础，充分利用和整合已有信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。
