大数据与银行业新一代数据体系建设
“大数据”来了，如火如荼，大有排山倒海之势！仔细分析各种成功案例后，发现大都是在互联网行业，而它在银行业的应用，却鲜有报道。本文则重点介绍大数据在银行新一代数据体系建设中的需求、战略与具体应用。
一、大数据在银行业的需求分析
高负荷环境下高可用的海量数据管理是目前IT建设中最重要的内容，也是影响客户业务发展最重要的瓶颈。近年来的事实表明，各行各业，其数据量以及用户对服务水平等几个方面的要求是在同时快速增长的，以基于SQL的关系数据库技术为主要代表的传统数据管理技术已经明显难以应付新的需求，这其中当然也包括银行业。
仔细分析，银行IT体系中数据量的增长压力主要来源于以下几个方面的原因：
1.银行业务的快速增长导致原有企业业务数据的快速增长。也就是说，企业数据库中
需要管理的数据量及其增长速度已经难以承受；
2.客户服务水平的提高及各种监管制度的要求，导致银行IT部门不得不规划管理比
以前量大得多的数据。例如对长期历史数据的使用要求，使得银行不得不考虑原来
存放在磁带上的数据的高可用问题；
3.新的IT规划带来了新的数据类型。将社会化交互渠道引入银行业，已经成为各大
银行规划其新一代IT体系的重要目标。由此，银行IT部门就不得不关心其以前并
不关注的新的数据类型。
从目前的状态来，对以上需求1与2，银行主要是通过原有系统垂直扩容的手段来应对。但近年来，垂直扩容已经不仅仅是难以承受的成本压力了，清醒的IT工作者已经意识到这不是根本的长远之计；而对需求3，则是互联网行业的强项，银行业没有过多的技术经验与积累。
要很好的解决以上问题，必须引入新的技术理念、方法与工具，而无论从技术特征本身，还是从应用实践来看，当今最流行的大数据技术（这里主要指Hadoop MapReduce与NoSQL），都会在应对这些挑战的过程中起到重要的作用。
二、银行业大数据应用的困惑
目前为止，虽然国内的商业银行对大数据的实际应用还比较少，但这项新的技术已经得到了绝大多数银行的关注，有相当一部分银行正在进行对大数据技术的调研、论证与测试工作。正如上面分析的那样，银行业对在其IT体系中引入大数据的必要性是认同的。
但同时，银行IT部门又普遍对大数据在本企业的应用存在一定程度的困惑，这主要表现在以下几个方面：
1.大数据在银行数据体系规划中的地位究竟如何？这对其技术战略规划有何影响？
2.大数据技术与传统的关系数据库技术关系与未来发展方向到底如何？是会最终替
代掉关系数据库吗？
3.银行业应该如何构建大数据平台？
4.大数据技术目前具体可以在银行IT体系的哪些方面得到有效的运用？
本文旨在对以上问题进行探讨。
三、大数据与银行新一代数据体系
相当一部分商业银行目前正在进行新一代IT体系的规划与建设工作，其中，打造适应
新的业务与应用目标的数据体系是重中之重，这包括数据分布、数据模型、数据流程、数据治理、数据集成及数据生命周期等多方面的内容，我们可称之为新一代数据体系。那么，在这个体系中，大数据都涉及哪些范围？它在银行数据体系规划建设工作会处于什么样的地位呢？大数据技术与传统关系数据库技术的关系如何呢？
1.银行业大数据的范围
多年以来，银行业主要关注的数据是其业务数据，包括交易、帐户与参数数据等，它们被以基于二维表的关系模型存储在各种大中小型的商业数据库中。那么，我们所谈到的大数据到底从哪里来？
从目前最流行的大数据概念来讲，大数据是指非结构化数据，主要包括社会化媒体日志、传感器计量及图片、图像等数据格式。完全从这个概念入手，我们只能推导出银行业的大数据可以包括以下几个方面：
●银行业务增加社会化的创新渠道后，所产生的具有互联网行业特征的数据，如操作
日志与相关网页内容。互联网行业的实践证明，这部分数据的量是很大的，并且增
长很快，同时属于非结构化的数据，最适合采用大数据技术来处理；
●缩微影像。即各种交易票据的扫描件，这些数据是以图片的方式存储，目前银行对
它最主要管理方式是文件索引加光盘库的方式。也有人提出过对这些数据采用大数
据方法抽取有价值数据的思路。
但是，这两个方面都不是银行业面临的最紧迫的问题：社会化渠道属于各银行正在规划与完善的工作，目前还没有紧迫的需求；而从图片图像中分析出价值数据来，似乎也并不实际。如果这样看，似乎大数据技术目前在银行业就没有什么实际的应用场景了？这自然是不正确的结论。
看来，在银行业，我们必须对固有的大数据的定义范围进行扩大（目前，并没有什么权威的定义限制我们，我们完全可以拓展思路）：
●大数据不一定非要是非结构化数据，它也可以是结构化数据，即大数据应该是多类
型的，而不只是指非结构化；
●如果某种数据采用大数据技术处理更加合适，都可以定义为大数据。
那么，我们不妨这样来定义大数据：那些海量的、快速增长的、不适合或者不值得采用商业关系数据库技术来管理并且具有高可用要求的企业数据。这样一来，我们便可以发现，在银行，除了以上两点以外，还有如下范围的数据可以采用大数据技术来处理。
●长期规划的历史数据。这些数据其实是企业关键业务数据，但可以定义为大数据；
●BI固定报表。由各种BI系统产生的报表文件（PDF，Excel，Word等格式）；
●应用系统运维数据。如应用日志，运维日志等；
●中间状态的数据。银行在数据流转过程中，有大量的中间状态文件，它们是海量的。
对这些海量文件处理，也可以采用大数据技术。
2.大数据技术与关系数据库技术简析
目前，在很多成功实践中，大数据表现出来比关系数据库更优异的性能：效率高、成本低、扩展性强等。于是有很多观点认为：关系数据库时代即将终结，大数据技术必将替代关系数据库技术。银行业IT部门在一定程度上受到这种观点的影响：或是支持，或是反对，或是两可。总之，是有困惑。那么，在后面的内容开展之前，有必要对大数据与关系数据库从技术上进行简单的剖析。
大数据技术的实质是什么呢？其实，大数据技术的设计理念是：通过牺牲关系数据库的某些特性，并采用分布式并行技术来获得对海量多类型数据的高可用。到底牺牲了哪些特性
呢？这对不同的大数据产品与技术来讲，是不一样的。但总的来讲，因为在有些应用场景，体系化的、复杂的SQL体系确实是不必要的，它在很大程度上影响了数据库的扩展性与效率、成本等因素。而大数据技术抛弃了那些不必要的内容，就获得了关系数据库在这些领域所不能达到的效果。例如，NoSQL数据库，就抛弃了复杂的SQL体系，以精简的索引与数据分布机制获得了海量管理能力、极限性能、低成本、高端可扩展等特征；而MapReduce则是对海量数据分布式计算领域的一个重要创新，但也只是在适合于并行处理的大规模批量处理问题上更占优势，而对些例如复杂Join的操作，则不一定有优势。
因此，很明显，大数据技术是为了应付关系数据库技术的不足而设计的，它并不是为了替代关系数据库而出现的，当然也不会去替代。
3.大数据时代银行数据体系建设理念
在分析清楚大数据所包含的范围以后，可以制定大数据时代银行数据体系建设的理念如下：
图1 大数据时代银行业新一代数据体系建设理念
●大数据时代，银行不能再只是将对其关键业务数据的管理作为唯一的重点，而是需
要多类型的大数据与关键业务数据并重；
●大数据时代，银行必须将传统的关系数据库技术，与目前流行的大数据技术都作为
主要的数据管理手段；这两种技术是共存的，相辅相成的，而不是互相替代；
●从大的战略来讲，如上图1一样，大数据应该处于企业数据处理流向的最底层，大
数据技术所起的作用就如新的ETL工具一样，从海量的数据中抽取分析出有价值的
结果，当作企业业务数据除去交易系统的另一个来源。当然，就是管理历史数据一
样，在这个理念约束下，大数据还可以有很多其它的适用场景。
上图1描绘了大数据时代银行业新一代数据体系的建设理念，金字塔自底而上，数据量不断变小，价值越来越高。这里认为，银行业可以根据上图1所示的理念制定本企业数据体系建设的大战略。
四、银行业应该如何构建企业大数据平台
和数据仓库、网上商店或任何 IT 平台一样，大数据基础架构也有独特的要求。在考虑大数据平台的各个构成组件时，必须关注最终目标是要实现大数据与企业数据的轻松集成，
以便能够深入分析合并后的数据集。也就是说，不要把大数据构建成一个新的孤立平台，大数据能够产生价值在于深入分析。一般来说，大数据的基础架构要求涉及数据获取、数据组织和数据分析。
1.获取大数据
大数据的获取是基础架构有别于大数据出现之前的一个主要变化。因为大数据是指速度更快、种类更多的数据流，所以支持大数据获取的基础架构必须以可预测的低延迟来捕获数据和执行简短查询；能够处理极高的事务量，通常是在分布式环境中；并支持灵活的动态数据结构。获取和存储大数据经常使用 NoSQL 数据库。此类数据库非常适用于动态数据结构，并且伸缩性强。NoSQL 数据库中存储的数据通常多种多样，因为系统的用途就是捕获所有数据，而不作分类和分析。
例如，NoSQL 数据库经常用于收集和存储社交媒体数据。虽然面向客户的应用不断变化，但底层存储结构却很简单。通常，这些简单的结构并不是要设计一个模式来包含实体间的关系，而只是包含一个主键来标识数据点以及包含一个内容容器来容纳相关数据。这种简单的动态结构既支持各种变化，又无需成本高昂的存储层重组。
2. 组织大数据
在传统的数据仓库中，组织数据称作数据集成。大数据的数据量之大造成了很多情况下都是在其原始存储位置组织数据，而不迁移大量的数据，这样做既省时又省钱。组织大数据所需的基础架构必须能够在原始存储位置处理和操作数据；支持极高的吞吐量（通常以批量的形式）以支持大数据处理过程；处理从非结构化到结构化的各种数据格式。
Apache Hadoop 是一种新技术，支持在原始数据存储集群中组织和处理大量数据。例如，Hadoop 分布式文件系统 (HDFS) 就是 Web 日志的长期存储系统。在Hadoop集群上运行MapReduce 程序并生成聚合结果，这些 Web 日志就会转变成浏览行为（会话）。然后，这些聚合结果会加载到关系 DBMS 系统中。
3.分析大数据
由于数据移动并不总发生在组织阶段，因此分析也可在分布式环境中进行，这种情况下某些数据将存放在其原始存储位置，并需要做到从数据仓库透明访问。分析大数据所需的基础架构必须能够支持对不同系统中存储的更多数据类型进行更深入的分析（如统计分析和数据挖掘），必须能够扩展到极致数据量，必须能够提供因为变化而驱动的更快响应，必须能够根据分析模型自动做出决策。而最重要的是，基础架构必须能够集成大数据与传统企业数据的组合分析。新见解不仅来自对新数据的分析，还来自结合旧数据对新数据做出的分析，其目的在于对旧问题做出新的诠释。
4.大数据平台解决方案体系
为满足上述大数据基础架构要求，许多新技术应运而生。据最新统计，用于获取和存储大数据的key-value数据库已超过 120 个，而 Hadoop 则是主要用于组织大数据，关系型数据库则会向处理结构化程度较低的数据集来扩展并提供大数据的分析能力。这些新系统构成了一个定位分明的解决方案体系，其中包括：
●Not Only SQL (NoSQL) 解决方案：以开发人员为中心的专业系统
●SQL 解决方案：等同于可管理性、安全性和可信性的关系数据库管理系统(RDBMS)
领域
NoSQL 系统旨在捕获所有数据，数据进入系统时不进行分类和分析，因此数据多种多样。而 SQL 系统通常是将数据放在定义详尽的结构中，数据需要符合元数据的定义以确保一致性并验证数据类型。
分布式文件系统和事务（键值）存储主要用于捕获数据，基本都符合本文前面所述的要求。为了解析这些数据并从中提炼信息，一种被称为 MapReduce 的编程框架并被广为使用。MapReduce 程序是在分布式数据节点上并行运行的自定义编写的程序。
键值存储或 NoSQL 数据库是大数据环境的 OLTP 数据库；它们经过了优化，支持极快的数据捕获和简单查询模式。NoSQL 数据库能够提供极快的性能，因为它是通过单一识别键来快速存储捕获的数据，而不是对数据进行解析并转换到一个固定模式中。因此，NoSQL 数据库能够快速存储大量事务。
不过，由于 NoSQL 数据库中数据的多变性，致使任何数据组织工作都需要编程来定义和解释所用的存储逻辑。再加之缺乏对复杂查询模式的支持，使得最终用户难以从 NoSQL 数据库的数据中汲取更大价值。
为了充分挖掘 NoSQL 解决方案的价值并将其从以开发人员为中心的专业解决方案转变成面向企业的解决方案，必须将 NoSQL 解决方案与 SQL 解决方案结合成一个可靠的基础架构，进而满足当今企业的可管理性和安全性需求。
五、大数据在银行业的具体应用领域
通过以上分析与描述，可以总结出大数据在银行业的具体应用领域如下：
1.社会化业务产生的新的数据源的存储、管理与处理；
2.海量历史数据存储访问管理。历史数据是结构化数据，但一般对访问的事务性、关
联性要求都不高，同时对数据存储的完整性要求也不是那么严格，但由于它通常是
数10年的规划，因此，是海量的，并且对扩展性要求高。而用高端关系数据库管
理历史数据，成本上又不划算。因此，大数据技术是个很好的选择；
3.统一批量数据交换平台的海量文件处理。银行生产系统下载的文件，一般以日（或
准实时）为单位向下游系统供数。这些文件的数量是海量的，并且在供数过程中需
要大量的文件处理工作（清洗、转码、聚合，拆分等）。实践证明，这种海量文件
处理工作更适合采用大数据技术来处理。淘宝的云梯就是一个这方面很好的例证；
4.运维数据管理平台。应用系统产生的大量的日志，日常系统运维所产生的各种文件，
等等，数据量大，增长快，需要一个低成本的管理、搜索与分析平台，大数据技术
正是为此而设计；
5.电子报表存储管理。各种BI系统所产品的大量报表文件，历史长了以后，量很大，
需要一个专门的存储管理系统。目前银行主要采用内容管理或普通文件管理方式，而大数据技术则可以为该需求提供一个低成本、高可用的可选方案；
6.企业级大数据分析平台。将长期的、海量的、各种类型的数据（包括企业历史业务
数据）以低成本的，可方便扩展的方式存储起来，进行一些SQL技术并不适合的高
效的分析工作，以作为企业BI平台的补充，这也是银行新一代数据体系中应该规划的方向。
五．结束语
在大数据时代，银行业除了考虑现有的业务与应用目标以外，还需要结合新的技术与需求规划其数据体系，并制定相应的战略。大数据技术与关系数据库技术是面向不同目标设计的，它们互相补充，并不矛盾。大数据技术在银行业有比较广泛的应用领域，长远来讲，对这种技术的充分使用，可以在很大程度上缓解数据与业务增长对银行IT运营带来的日益增长的压力。
大数据平台建设方案 项目需求与技术方案） 、项目背景 十三五”期间，随着我国现代信息技术的蓬勃发展，信息 化建设模式发生根本性转变，一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT ”浪潮风起云涌，信息化应用进入一个“新常态”。*** （某政府部门）为积极应对“互联网+” 和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到 “用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合 业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录， 建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、
预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成大数据平台的整体架构建设，后期分步完成业务系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理，建立经济发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛”，加快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。 3 、突出重点、注重实效。以用户为中心，以需求为导向， 以服务为目的，突岀重点，注重实效，加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求，密切跟踪信息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性，我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范，建立多维度数据库，拓宽 数据来源，通过不同的方式汇聚数据，增强分析力度，提高 监测预警的准确性和时效性。 1、预留接口，支持其它系统各种数据的上传导入处理。 将现存有关经济运行业务系统中的历史数据和时效数据，过上传数据文件至服务器、分析提取有效数据导入服务器数
省城商银行 数据中心建设概要规划 V1.0 凌信 2015年1月15日
目录 一、方案概述 (3) 二、需求分析 (4) 三、自建与外包数据中心 (5) 3.1.高等级数据中心的高要求 (6) 3.2.外包数据中心的优点 (9) 3.3.数据中心的自建和外包 (10) 3.3.1.财务指标 (10) 3.3.2.保障能力 (13) 3.3.3.效率分析 (15) 四、概要规划 (17) 4.1.容灾工作计划 (18) 4.2.同城灾备 (18) 4.3.异地灾备 (19)
一、方案概述 随着银行业对信息化依赖程度越来越高，信息系统安全问题对其业务的影响也日益增大。数据集中的同时也意味着风险相对集中，在地震、火灾、水灾、疫情、计算机病毒、黑客攻击等各种灾难事件不断爆发的情况下，如何确保其信息系统安全和业务持续运行已成为一项重要而艰巨的任务。 2010年银监会发布的《商业银行数据中心监管指引》首次对国商业银行同城和异地灾备中心建设等级提出明确要求。该指引对数据中心风险管理、运行环境管理、运营维护管理、灾难恢复管理、外包管理等方面提出了明确要求，如，商业银行应于取得金融许可证后两年，设立生产中心;生产中心设立后两年，设立灾备中心等等。 城商银行目前已经有建国南路、斜西街2个运营中的数据中心，并在新建大楼中规划了专用的更大规模的数据中心。针对数据中心的升级和灾备，城商银行原计划是： 1)取消建国路机房（生产数据中心）调整到新建大楼机房（计 划2000平方米机房）； 2)斜西街机房（辅助机房）不变； 3)异地灾备机房不变。 根据国际、国数据中心的发展趋势，结合城商银行的数据中心建设现状，凌信建议： 1)取消的建国路数据中心调整到凌信第三方机房；
高校大数据实验室建设方案 一、建设目标 xx大数据实验室的建设目的是作为大数据教学实验及科研平台，包括数据挖掘与大数据分析平台。实验室的设计全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。 利用虚拟化教学资源，搭建教学系统和集群平台，将理论学习、实践教学和大数据项目实战融为一体，由难而易、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。利用大数据分析主流软件框架，搭建与业界主要用户一致的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力。使得学生所学与企业项目人才需求无缝衔接，与教师的科研工作紧密配合。 通过专业的大数据分析计算资源搭建的开放式大数据分析平台，可以充分的融合教师的科研需求，教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。 二、产品优势
?交互式学习模式 提供体系完整、简单易用的在线教学课堂；以基础知识学习、在线视频教学、习题、线上测试、评估等为主线的一系列方法，确保学生在短时间内掌握大数据虚拟仿真实验、分析部署技能。 ?真机实验训练 实验训练体系设计成各模块相对独立的形式，各模块交互式的实验任务、大数据实验机、实际项目上机操作，通过多方位的训练，最终灵活的、渐进式地掌握大数据生态体系。 ?大数据实战及案例分析 提供实验数据，包括网站流量数据、租房及二手房数据、电商商品交易数据、搜索引擎访问等多种行业数据，数据内容超过20TB，同时周期更新数据内容。 ?充分支撑科研工作 提供行业数据及案例解剖用于基础研究，提供数据分析方案及流程，提供数据更新接口，
XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在2014年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度挖掘数据含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据
资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动。 （三）培养大数据人才队伍，建立大数据分析能力 结合大数据项目的落地实施，建立起一支大数据技术和分析人员队伍，具备自主运营和开发大数据的能力，以更好推动业务创新，提升我行核心竞争力。 三、发展趋势 近年来，银行业大力发展面向客户的新一代核心业务系统，信息系统建设日趋完备，电子银行等在线金融服务大幅增长，在提升客户体验和风险管控能力、满足监管各项要求的同时，形成并储存了庞大的可用数据资源。银行业的数据资源不仅包括存贷汇等结构化数据，也包括客户浏览痕迹、在线交易记录等非结构化数据，还包含客户语音、网点视频等非结构化数据。2012年，银行业的记录数据、业务数据、数据仓库数据、结构化数据和非结构化数据的数据规模分别达
新一代的数据中心级核心交换机 引言 2006年开始出现云计算的概念，其热度一直持续到今天，并有愈演愈烈之势，几乎所有企业IT业务都在向云计算演进。在此期间，数据中心网络设备更是以每年40%以上的速度增长，其中数据中心级的核心交换机可以说是整个云计算网络架构的一个关键节点。 数据中心核心交换机何以诞生？ 数据中心级交换机之所以诞生，背后有着深刻的原因。根本的支撑就是整个IT业界的应用模型发生了革命性的变化，从Client/Server的流量模型向Server/Server流量模型演进，从单播为主的流量模型到Incast&多播流量的大量使用。同时陪伴着的是大量企业关键业务IT化，企业客户对IT的投资更加活跃，大规模服务器集群、虚拟化、Big Data等技术的成熟都对网络提出了更高的业务要求。
从上表的分析中，我们可以发现业务应用的需求驱动加上产品技术的成熟是数据中心核心交换机成功的关键。所以当我们实现下一代的数据中心核心交换机时，也谨遵守这一规则。 数据中心级核心交换机的现状 当前条件下，主流网络设备厂商的数据中心级核心交换机基本具备如下特点： 1）较高可扩展性 2）网络设备的自身虚拟化能力
3）多业务支持和网络融合 当前数据中心级核心交换机的缺憾 尽管数据中心级的核心交换机在业务和技术上取得了不少的突破，但目前还存在不少的缺憾，主要包括： 1）网络扩展能力有限 在设备的可扩展性上，核心交换机满足支撑未来5年乃至10年的网络扩展需求的厂家几乎没有；究其根本原因就是设备架构设计和网络业务快速扩张速度的不匹配。 服务器虚拟化后，对二层的数据交换产生了巨大的需求，但二层网络由于天生的缺陷，网络节点的可扩展性非常有限。一些传统的二层网络技术，如STP等，只解决了二层网络的破环，却在如何做大二层网络上并未涉及，在多个数据中心之间如何实现虚拟机的二层互通，现在也没有一个非常成熟的方案。 2）网络虚拟化和应用虚拟化的分离 应用虚拟化以后，客户的业务、应用将变得更加灵活，调整起来会变得更加动态、频繁。 网络虚拟化如何跟随业务、应用的变化进行动态的适配，快速、自动的进行部署变更，也是一道很大的考题。 3）网络行为开放有限 随着客户应用环境的日益复杂，许多客户都提出了网络行为定制化的需求；因为每个客户的网络环境都有自己的特点，而厂家生产的标准化设备不能满足所有客户的特殊行为需求，所以业界出现了通过一个开放式标准接口来控制网络设备行为的思潮。
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
银行,大数据,解决方案 篇一：商业银行-大数据建设规划 XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在20XX年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度
挖掘数据内含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据 资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、
物联网大数据分析实验室建设方案 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。章鱼大数据为积极应对“互联网+”和大数据时代的机遇和挑战，适应经济社会发展与改革要求，开发建设物联网大数据平台。 物联网大数据平台打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、物联网行业现状 数字传感器的大量应用及移动设备的大面积普及，才会导致全球数字信息总量的极速增长。根据工信部的统计结果，中国物联网产业规模在2011年已经超过2300亿元，虽然和期望的“万亿规模产业”还有一定距离，但已经不可小视。其中传感器设备市场规模超过900亿元，RFID产业规模190亿元，M2M终端数量也已超过2100万个。另一个方面，我国的物联网企业也呈现出聚集效应，例如北京中关村
已有物联网相关企业600余家，无锡国家示范区有608家，重庆、西安等城市也有近300家。从区域发展来看，形成了环渤海、长三角、珠三角等核心区以及中西部地区的特色产业集群。 在2009年以前，可能没有哪家企业说自己是物联网企业。一夜之间产生的上千家物联网企业，他们的核心能力、产品或服务价值定位、目标客户和盈利模式都是如何呢？首先来看这些物联网企业从哪里来。现在的物联网企业主要分为三类，第一类是以前的公用企业转型，最典型的是电信运营商，他们有自己的基础设施，有客户资源，因此自然转型到物联网行业。除了电信运营商，一些交通基础设施运营商、甚至是气象设施运营商，也都转型为物联网企业。第二类是传统IT企业，例如华为、神州数码，以及众多上市公司等。这一类公司也是在传统的优势积累基础上开拓物联网新业务。第三类是一些制造企业，包括传感设备制造企业，网络核心设备制造企业，还包括如家电等一批传统制造企业。这一类企业不能说没有大企业，但是绝大多数都是中小型企业。这些企业的核心能力主要体现在三个方面，第一是传感器和智能仪表，第二是嵌入式系统和智能装备，第三是软件与集成服务。 再来看我国物联网应用的领域。通过对多个部委和地区的物联网专项进行汇总，下图列出了目前提到最多，也是应用最成熟的八个领域。但是换个角度再看，不管是工业控制、供应链管理、精准农业，还是建筑自动化、远程抄表、ETC，其实都并不是新的技术领域，而是在物联网这个大概念下重新包装后再次引起了人们的兴趣。总的来
大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信
息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。
最新版 大数据实训室建设项目 解决方案
目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26)
4.6 实训室课程目标 (28) 4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34)
1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年 9 月 5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，
新一代数据中心光纤布线 市场背景： 在最近的5-6年内，中国的数据中心的建设处于高速增长的阶段，同时根据第三方调查机构的AMI预测，在今后的5年甚至更长的一段时期，国内数据中心的建设还将持续处于快速增长通道内，根据报告显示，亚太区数据中心布线市场复合年增长率将达到32.8%，预计中国的复合年增长率将达到37.5%，比整体综合布线市场的复合年增长率高出23.9 %，中国2011年数据中心布线市场规模将有望达到9-10亿人民币。 中国国内传统布线市场近几年来原本由国际布线品牌完全主导 现象逐渐演变为国内品牌与国际品牌分庭抗礼的格局，而在数据中心布线市场，特别大中型数据中心布线市场，根据统计，70%的市场份 额由专业于数据中心领域的国际布线品牌约5-6家品牌形成寡头垄 断的市场。由于数据中心布线市场对产品的专业性，产品质量与可靠性要求远远高于传统布线市场，特别是光纤产品应用技术上，布线品牌间的还存在着相当的差距，而大型数据中心项目的建设与应用，极大的推动了光纤布线产品技术的发展，对数据中心光纤布线将提出新的更高的要求并产生新的技术课题促进了数据中心布线技术的发展，引导数据中心布线产品技术的方向进而在布线市场中产生主流效应。关键词：数据中心多模光纤布线技术趋势
一，光纤技术的应用和发展 数据中心布线系统需要不断提升带宽为快速增长的网络（如核心层网络，汇聚层网络及SAN存储网络）传输应用提前铺好道路，而采用光纤传输可以为不断发掘带宽潜力提供保障。与单模光纤相比较，由于多模光纤技术较低的有源+无源的综合成本，将促使多模光纤在数据中心的应用中占有绝对的优势，大中型数据中心超过85%的光纤布线系统采用的是多模光纤。2009年8月，TIA 正式批准OM4，一种新类别EIA/TIA492AAAD多模光纤标准的推出，为多模光纤今后大量应用提供了良好的发展前景，多模光纤从OM1到OM2，采用VCSEL激光优化技术后OM3再到OM4整整发展了4个阶段，带宽也是逐级提升，各级别的带宽与10G传输的距离对应关系如下图（1）所示。 图（1） 随着2010年6月IEEE 802.3ba新的以太网40G/100G标准发布后，多模光纤在数据中心领域的应用将翻开新的一页，40G与100G 的高速传输不再仅仅依靠单模采用成本极高的WDM串行方式进行传输，新一代以太网40G/100G标准将采用OM3与OM4多模光纤多通道
大数据与银行业新一代数据体系建设 “大数据”来了，如火如荼，大有排山倒海之势！仔细分析各种成功案例后，发现大都是在互联网行业，而它在银行业的应用，却鲜有报道。本文则重点介绍大数据在银行新一代数据体系建设中的需求、战略与具体应用。 一、大数据在银行业的需求分析 高负荷环境下高可用的海量数据管理是目前IT建设中最重要的内容，也是影响客户业务发展最重要的瓶颈。近年来的事实表明，各行各业，其数据量以及用户对服务水平等几个方面的要求是在同时快速增长的，以基于SQL的关系数据库技术为主要代表的传统数据管理技术已经明显难以应付新的需求，这其中当然也包括银行业。 仔细分析，银行IT体系中数据量的增长压力主要来源于以下几个方面的原因： 1.银行业务的快速增长导致原有企业业务数据的快速增长。也就是说，企业数据库中 需要管理的数据量及其增长速度已经难以承受； 2.客户服务水平的提高及各种监管制度的要求，导致银行IT部门不得不规划管理比 以前量大得多的数据。例如对长期历史数据的使用要求，使得银行不得不考虑原来 存放在磁带上的数据的高可用问题； 3.新的IT规划带来了新的数据类型。将社会化交互渠道引入银行业，已经成为各大 银行规划其新一代IT体系的重要目标。由此，银行IT部门就不得不关心其以前并 不关注的新的数据类型。 从目前的状态来，对以上需求1与2，银行主要是通过原有系统垂直扩容的手段来应对。但近年来，垂直扩容已经不仅仅是难以承受的成本压力了，清醒的IT工作者已经意识到这不是根本的长远之计；而对需求3，则是互联网行业的强项，银行业没有过多的技术经验与积累。 要很好的解决以上问题，必须引入新的技术理念、方法与工具，而无论从技术特征本身，还是从应用实践来看，当今最流行的大数据技术（这里主要指Hadoop MapReduce与NoSQL），都会在应对这些挑战的过程中起到重要的作用。 二、银行业大数据应用的困惑 目前为止，虽然国内的商业银行对大数据的实际应用还比较少，但这项新的技术已经得到了绝大多数银行的关注，有相当一部分银行正在进行对大数据技术的调研、论证与测试工作。正如上面分析的那样，银行业对在其IT体系中引入大数据的必要性是认同的。 但同时，银行IT部门又普遍对大数据在本企业的应用存在一定程度的困惑，这主要表现在以下几个方面： 1.大数据在银行数据体系规划中的地位究竟如何？这对其技术战略规划有何影响？ 2.大数据技术与传统的关系数据库技术关系与未来发展方向到底如何？是会最终替 代掉关系数据库吗？ 3.银行业应该如何构建大数据平台？ 4.大数据技术目前具体可以在银行IT体系的哪些方面得到有效的运用？ 本文旨在对以上问题进行探讨。 三、大数据与银行新一代数据体系 相当一部分商业银行目前正在进行新一代IT体系的规划与建设工作，其中，打造适应
易霖博 云计算大数据 实验室建设解决方案
北京易霖博信息技术有限公司 2016年5月
目录
概述 云计算大数据技术是当今信息技术发展的一个主要方向，云计算大数据技术一经提出就得到人们的追捧，其应用领域也得到了快速的发展，已经在商业、政府、金融、教育等领域得到广泛应用。我国高职院校需要建设专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。根据云计算与大数据行业对人才培养的需要，易霖博推出了一套面向高职院校的云计算大数据实验室建设解决方案，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。 第一章、云计算与大数据的发展趋势 1.1.云计算与大数据 云计算和大数据是一个硬币的两面，云计算是大数据的基础，而大数据是云计算的一个杀手级应用，云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。 30年前，存储1也就是约1000数据的成本大约是16亿美元，如今存储到云上只需不到100美元。但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。 目前，云计算已经普及并成为行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。 大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技
大数据中心发展规划 2015.04.22 总则 与传统金融相比，大数据给互联网金融不仅带来了金融服务和产品创新、以及用户体验的变化，创造了新的业务处理和经营管理模式， 对金融服务提供商的组织结构、数据需求与管理、用户特征、产品创新 力来源、信用和风险特征等方面产生了重大影响，显著提升了金融体系 的多样性，也对金融监管和宏观调控等方面提出了新的课题。大数据中 心的主要目标是利用大数据分析平台为公司业务提供信息咨询、指导、 监测。其担任着数据获取数据分析数据应用的重要职责。提高公司的决 策水平、评估公司的营销效果、协助提升公司业务风险控制能力。 大数据中心的组织架构
各部门岗位职责 1、副总经理 受总经理领导，对总经理负责。负责整个大数据中心的建设、部门规 划、人事任免。 2、客户服务部 客户服务部下设接待组合客户回访组。客户接待组负责来访客户和线 上客户接待，并做好各项反馈记录，总结客户反馈问题。对于常见连 续三次同类型问题要上报部门经理会议引起重视。客户回访组负责客 户资料收集、回访。对业务部门提供的优质客户要求做到每周一回访。 客户服务部的考核接受副总经理考核同时接受其他业务中心负责人 考核。 3、数据分析部 负责数据的建模和分析。下设技术支持组合数据分析组。配合运营部 门做好相关对外技术支持接口开发、数据存储、文档管理等工作，数 据分析组负责建模、分析。例如对对市场推广部门的推广效果进行监 测和评估，对客户来源进行分析，对搜索热门词汇、咨询量进行分析、 对同行同类业务进行实时获取对比分析。 4、数据运营部 数据运营部负责数据的收集及应用。与业务部门或其他外部企业洽谈 合作，确定数据应用目标，给到数据分析部进行分析。分为数据采集 和数据应用。数据采集是指获取数据的来源，可以是各门户网站、微 博、公司内部网站也可以是线下对接的其他企业。数据应用组主要负 责分析的数据进行产业化应用。可以是为第三方企业提供应用也可以 是为公司企业业务部门提供应用。 5、企划部 企划部企划部分为市场推广和企业发展规划。负责公司制定营销计划、 品牌策划、活动推广、媒体公关。主持和参与市场调研、情报收集、分析 与预测,不断主动提出经营发展的建议和设想,指出发展方向。密切关注法律和 体制环境的重大变化,以前瞻性的眼光提出相应对策。收集国内外主要竞争对手 的商业资讯,解剖其案例,分析其优渐势,并与公司横向比较后提出竞争建议。 五、中心发展规划 组织安排结合公司业务发展实际情况本规划分二个阶段 1、第一阶段 在一个月内企划部和客户服务部启动，首先配合公司内部网站和加盟 活动推广，公司业务宣传。 2、第二阶段 等公司各项业务正常启动后，预计二个月时间内运营部和数据分析启 动，开始对接内部业务与外部合作。预计在8月份开始提供数据分析 报告。 运营目标
H3C新一代数据中心解决方案的4大优势 推荐 打印 收藏 标准化 新一代数据中心之标准化 传统数据中心的异构网络 数据中心经过多年的发展和变革，已经成为企业IT系统的心脏，然而，随着企业信息化发展的不断深入和信息量的爆炸式增长，数据中心正面临着前所未有的挑战。其中，传统数据中心在不断的建设和升级过程中积累下来的繁杂、异构的网络，阻碍了数据中心向高效、敏捷的方向发展。 从数据中心的网络结构看，存在相对独立的三张网：数据网（Data）、存储网（SAN）和高性能计算网（HPC），而目前的网络现状： 数据中心的前端访问接口通常采用以太网进行互联而成，构成了一张高速运转的数据网络数据中心后端的存储更多的是采用NAS、FC SAN等 服务器的并行计算则大多采用Infiniband和以太网 不同的服务器之间存在操作系统和上层软件异构、接口与数据格式不统一
以上问题导致数据中心运行时，协议转换开销大、速率不匹配、性能瓶颈明显、开发与部署周期长、无法满足业务快速灵活部署和实际应用的需求。 标准化之统一交换架构 为了便于未来的业务整合和服务提供、简化管理、降低建设成本和运营维护成本，为了解决传统数据中心异构网络带来的种种问题，数据中心的建设应尽量避免异构系统的存在，用一个统一的标准来规划完整的数据中心网络体系。 在业务网络，以太网随着技术的变革一直在向前不断的发展，以满足不断变化的行业和市场的需求。自1983年以太网开始大规模普及开始，到1995年的以太网网卡被大多数PC所采用，再到快速以太网(100 Mbps )，千兆以太网( 1000 Mbps )以及今天的万兆以太网，和即将推出的40 Gbps和100 Gbps以太网标准。其经历了从终端到局域网、从局域网到广域网、从广域网到城域网的变革，可以说以太网正凭借其强大的生命力得到了空前的发展和壮大。 在存储领域，自IP存储自诞生以来快速发展，万兆存储更将存储发展带入新纪元。 在超级计算和高性能计算领域，08年6月发布的世界TOP500超级计算机排名显示，285个站点采用以太网连接，占据57％的份额。 随着CEE（Convergence Enhanced Ethernet 融合增强型以太网）对现有以太网标准的改进，以太网解决了数据中心应用面临的所有技术问题。融合增强型以太网已经成为构建统一交换架构数据中心的最佳选择。
新一代数据中心建设的总体规划设计 中国IDC圈4月25日报道: 下面我们有请中国系统工程学会信息系统工程专业委员会副主任委员高复先先生发表演讲。她的演讲题目是新一代数据中心建设的总体规划设计。有请高教授! 各位下午好! 我讲的题目是"新一代数据中心建设的总体规划设计".和上面几位先生讲的不太一样, 在数据中心的物理平台支撑之下, 作为企业政府也好, 特别是电子政务, 省市一级的信息内容、信息资源怎么来组织。能够说在信息资源整合和开发方面, 利用已有的数据平台的东西。 关于数据中心建设的基本认识, 本世纪是信息资源整合的世纪。这是国际上IT界的公认的一个观点。20世纪是计算机表明、普及数据处理应用、数据海量堆积的时代的, 21世纪是整合无序数据, 深度开发利用信息资源的时代。中国油田企业从20世纪50年代, 开始二维地震数据处理到80年代的三维地震数据处理, 现在进行着企业资源计划软件推行, 还有数字油田建设等等, 还有信息化建设取得长足进步, 还有问题也出现了, 应用系统分散开发, 数据标准混乱, 矛盾、冗余的数据继续堆积, 信息孤岛丛生, 管理层和决策层应用开发滞后。这个现象在其它的行业和电子政务方面普遍存在的。要从数据层面, 管理层面要做数据中心, 是一体化解决问题的一个很重要的方法。
那么不论企业信息化, 还有电子政务数据中心建设的误区呢, 我们发现调查研究以后, 主要在数据中心建设定位, 投资方向有问题。基本上停留在物理建设层面, 只注重解决数据集中存储、备份与安全等问题, 不注重解决数据标准化建设和信息资源整合策略问题, 同时由于缺乏统筹规划和需求分析, 没有发挥业主方的主导作用, 将数据中心建设项目分保给系统集成商和软件商, 最终演变成了设备和软件产品的采购、安装、部分数据迁移和调查应用, 数据中心不能支持核心业务运作与辅助领导决策, 数据中心不能支持核心业务运作与辅助领导决策, 没有发挥数据中心建设的应用。 我们要总体的来看这个问题。第一是基础设施建设, 提供远程的委托式的数据中心服务。还有在这个之上, 要建立这个行业这个企业这个政府部门, 这个数据标准化, 而我们的研究对这个标准化不是单一的, 是五项的大致系。 还有网上是数据存储, 集中存储一些主机的数据仓库, 包括空间地理的数据。还有数字数据, 管理的源数据。这之上才是业务开发, 对企业来讲, 有一套。对于公共卫生、社会保障, 诚信等等等等, 要建设下去。还有能够搞领导决策, 数据决策。那么这是数据中心的高层应用。那么这个应用服务要落到实处。那么要协调的完成这些复杂艰巨的建设任务, 不但有物理设施, 技术资源, 要搞统一筹划, 要做好统一规划、设计。这是非常自然的现象。
某大型国有银行大数据营销案例项目背景 随着互联网金融对传统银行业务的不断冲击，银行业变革需求迫切，做为互联网+金融的先锋，某大型国有银行早已布局了银行电商平台，但该电商平台需要通过大数据技术实现个性化商品推荐，提高网站的用户体验、客单价和复购率，同时希望能够搭建用户画像和用户分析系统，帮助运营人员优化网站运营。 项目目标 1、在该银行的电商商城上为用户提供精准实时的个性化推荐服务 2、提供网站运营智能分析工具 3、提供可视化分析报告 941大数据服务联盟解决方案： 1、个性化站内推荐 （1）部署代码，采集数据 通过js部码的方式，在商城网站的PC端和手机客户端采集商品信息和用户行为等非敏感信息，包括商品编号、商品名称、商品品类、页面访问、浏览品类、浏览单品、搜索、添加购物车等。 （2）建立推荐模型
对于收集上来的商品和用户行为信息，经过算法模型的处理变换为多种形式的个性化推荐模型，并结合掌握的外部全网数据，形成更精确的推荐结果。（3）进行精准的个性化推荐 基于场景引擎、规则引擎、算法引擎、展示引擎以及流处理平台和批处理平台进行个性化数据运营，形成个性化推荐方案，推荐的内容包括商品、广告、活动、商家等。 2、智能分析引擎 （1）客户画像 将商城的数据与全网数据整合，了解用户在其它电商、社交平台、APP上的外部行为，提供更准确的客户画像。 （2）商业分析和网站运维分析 整合商城前后端数据，提供基于流量、通路、访客、会员、客户行为、商品、订单、融资等的数据分析，通过分析引擎，向业务人员展示电子商务的核心数据情况，满足商业分析（BA）和网站运维分析(WA)的需求。 （3）算法和效果评估 建立完整的客户行为分析引擎，包括基于多种算法产生的客户行为模型和最终的效果评估优化等。 3、可视化数据分析报告 （1）可视化数据分析报告系统。
银行业金融大数据服务平台项目 规划书
项目介绍 1.1项目背景 银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。 银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。 1.2业务需求 目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端： 1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。 2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。 3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规律， 以及前瞻性判断，数据的预测性分析能力不足。
大数据实训室建设项目 解决方案
目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26) 4.6 实训室课程目标 (28)
4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34)
1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年 9 月 5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要。