银行业金融大数据服务平台项目
规划书
项目介绍
1.1项目背景
银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。
目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。
银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。
1.2业务需求
目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端：
1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有
找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。
2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分
组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。
3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规律，
以及前瞻性判断，数据的预测性分析能力不足。
针对具体的金融业务，大数据分析在以下方面有着迫切的需求：
统一广告发布：目前金融行业客户在广告方面投入大、渠道多，但在确认真实效果、提供优化广告策略时却不能提供确切的数据证据。亟需利用大数据技术在收集各类型、各渠道广告发布数据的基础上，提供可靠的效果数据和优化策略建议。
精准营销：目前金融行业的营销方式基本上还是粗放式的，调查方式粗糙，分析原因简单，对过程的控制力差，对客户和产品的推广都缺少针对性。亟需利用大数据技术来收集详尽数据、科学分析原因、严格控制过程、并有针对性地面向客户和产品进行营销推广。
业务系统优化：目前金融行业对其业务系统的客户体验效果、客户转化率缺乏准确数据支持，也无法分析具体原因。亟需利用大数据技术获得各业务、各环节的客户转化率，从而有针对性地改进业务流程，提升服务质量。
客户流失分析：对于如何稳定留存客户、降低客户流失率，目前金融客户还无法准确分析客户流失的原因，也就无从提出有效的改进措施。亟需利用大数据技术在分析流失客户数据的基础上，提出改进客户关系管理效率和水平的有效建议。
风险分析：金融行业对自己客户和业务的风险分析停留在初级阶段，缺乏全面掌握和提前预防的技术手段。亟需利用大数据技术获得存在较高风险的客户群体及业务，作为对其进行重点监控和提前做好预防措施的基础。
通过建设金融大数据服务平台，研发基于大数据分析的统一广告发布系统、精准营销系统、业务体验优化系统、客户流失分析系统和风险分析系统，金融客户可以提升广告发布效果，提高营销针对性，优化服务质量，改善客户管理水平，预防风险冲击，进而为业务发展提供决策支撑，并促进相关领域构建新的业务模式、服务模式。
二.项目范围
北京XXXX技术有限公司自主研发的“金融大数据服务平台”，旨在为金融行业客户提供包括数据采集、数据存储、数据预处理、数据挖掘、可视化展现、业务实现等全流程服务，以帮助客户实现各种金融业务。
数据采集
“金融大数据服务平台”首先需要收集各种金融数据，它们可能是结构化的，也可能是半结构化或非结构化的；既可能来自银行内部的各业务系统，也可能由外部提供；既可以是
静态的（如属性数据），也可以是动态的（如行为数据）。而金融数据采集产品就是根据业务需要，将这些数据采集到“金融大数据服务平台”中。
●数据存储
Hadoop集群通过将数据分配到多个集群节点上并进行并行处理，因此尤为适合对大数据的存储和分析。Hadoop集群通过添加节点数量来有效的扩展集群，因此具有极好的可扩展性；Hadoop软件都是开源的，也不必购买昂贵的高档服务器，因此具有很好的性价比。Hadoop集群将数据分片发送至多个节点保存，因此具有极高的容错性。
●数据预处理
采集到金融数据来自多种数据源，大多存在着不完整性和不一致性，无法直接用于数据挖掘或严重影响数据挖掘的效率。因此在进行数据挖掘之前，通过使用数据预处理工具，灵活对原始数据的清理、变换、集成等处理，可以减少挖掘所需数据量，缩短所需时间，并极大提高数据挖掘的质量。
●数据挖掘
数据挖掘是通过分析数据、从大量数据中寻找其潜在规律的技术。利用预测、关联、分类、聚类、时序分析等技术，数据挖掘可以从海量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。目前，传统的数据挖掘产品在大数据平台上还存在一些局限性，研发一套Hadoop平台下的数据挖掘工具是一项极具挑战性的任务。
●可视化展现
数据挖掘得到的结果，往往数据量巨大、关联关系复杂、维度多以及双向互动需求等。可视化展现工具以适合人类思维的图形化的方式对结果进行展示，提高了数据的直观性和可视性。可视化展现面向各类客户，通过选择合适的可视化模型，将枯燥的数据转换为令人印象深刻的美丽图形，极大提升了数据的利用价值。
●业务实现
“金融大数据服务平台”的效果，最终需要集成在各类金融业务系统中才能得以体现。目前拟建设的金融业务系统有：精准营销系统、统一广告发布系统、业务体验优化系统、客户流失分析系统、风险分析系统等。
三. 项目目标
实施针对银行的“金融大数据服务平台”项目，通过采集银行内部与外部、静态与动态的各类金融数据，搭建适于大数据存储与分析的Hadoop集群，对金融数据采取合适的预处理方式，利用数据挖掘技术得出隐藏在海量数据后的、有价值的潜在规律，以丰富的可视化模型向客户进行展现，在此基础上实现精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等金融业务应用。由此，提升金融业务的水平和效率，推进银行业务创新，降低银行管理和运行成本。
本项目的具体技术目标包括：
开发金融数据采集工具：大数据分析需要收集来自银行内部的和外部的、静态的和动态的各种金融数据，为此开发各类金融数据采集工具，如动态采集SDK、日志提取分析工具、外部数据导入工具等。
搭建Hadoop大数据集群：搭建Hadoop大数据集群，是建设“金融大数据服务平台”的基础。利用多台性能较为一般的服务器，组成一套基于HDFS和Map-Reduce机制的集群，并根据需要在其上安装Hive、HBase、Sqoop、ZooKeeper等软件。
实现分析挖掘算法：支持Hadoop的分析挖掘算法，是“金融大数据服务平台”的一个关键组成部分。在利用传统数据挖掘技术的基础上，实现包括抽象的数学算法（如关联算法、分类算法、聚类算法、时序分析算法等），以及在此基础上针对金融业务的专业算法（如客户行为特征模型、效果分析模型等），作为进一步构建抽象模型和金融专业模型的基础。
构建分析挖掘模型：支持Hadoop的分析挖掘模型，是“金融大数据服务平台”的另一关键组成部分。在上一步基础上，快速构建抽象的数学模型（如神经网络模型、事物关联模型等），以及针对金融业务的专业模型（如精准营销模型、广告效果评估模型等）。
实现ETL工具：数据预处理也是“金融大数据服务平台”需要解决的问题之一。利用市场上已有的数据预处理成果，研发一个支持Hadoop的ETL工具，实现包括规范化、数据抽样、数据排序、汇总、指定因变量、属性变换、数据替换、数据降维、数据集拆分、离散化等功能。
实现可视化展现工具：“金融大数据服务平台”上的分析结果将主要采用丰富多彩的可视化形式向用户进行可视化展现。利用市场上已有的相关技术和产品，研发一个可视化展现工具，可以支持：分类树图、视觉聚类图、关联图、序列图、回归图等多种可视化形式。
实现金融业务应用：将分析挖掘的结果集成到具体的银行业务系统中，如精准营销系统、统一广告发布平台、业务体验优化系统、客户综合管理系统、风险控制系统等。具体方式既可以是实现某个独立的新业务系统，也可以是在现有系统中实现一个或多个新模块，从而扩充或提升原有的功能。
本项目的具体业务目标包括：
精准营销：综合分析客户行为特征信息和金融业务分类信息，可以得到客户最有可能感兴趣的业务以及业务最有可能的潜在客户群，以此为基础有针对性地开展营销；
统一广告发布：分析广告效果分析信息，可以得到各类型、各渠道的最佳配置或薄弱环节，以此为基础改变广告策略、提升广告效果；
业务体验优化：分析客户业务体验信息、客户流失信息，可以得到客户在各业务、各环节的转化率，分析流失原因，在此基础上改进业务流程、提高服务质量，以提升客户满意度；
客户流失分析：综合分析客户行为特征信息、客户流失信息及其它信息，得到客户的全方面分析结果，在此基础上改进客户关系管理的效率和水平；
风险分析：分析客户属性数据、风险分析数据，可以得到存在较高风险可能的客户群体和业务信息，在此基础上区分特别关注目标、制定预防措施，降低这些客户和业务可能带来的冲击。
四.技术方案
4.1总体架构
“金融大数据服务平台”由数据采集层、数据存储层、分析挖掘层和业务应用层组成，总体框架如下图所示：
数据源传统系统电子银行手机银行…数据
采集层动态采集SDK 外部
数据源
日志提取分析工具外部数据导入工具其它数据提取工具
关系数据库
…数据
存储层Hadoop 集群
分析
挖掘层客户行为特征模型精准营销模型业务体验优化模型客户流失分析模型业务
应用层精准营销
系统统一广告发布
系统客户流失分析系统…
数据提取、导入
数据预处理
建模、评估
可视化展现、
统计分析报表
风险分析系统广告效果分析模型
风险分析模型
业务体验优化系统
数据采集层：负责从各类数据源中提取、导入数据，主要产品包括：动态采集SDK 、日志提取分析工具、外部数据导入工具、其它数据提取工具等。
数据存储层：负责将预处理后的数据进行存储，主要由可进行横向扩展的Hadoop 集群构成，另外辅之以关系数据库作数据中转、元数据存储、供某些软件使用等用途。
分析挖掘层：负责金融数据经建模、挖掘、评估和发布，核心是实现两类数据挖掘的算法和模型：一类是抽象的数学算法及模型，另一类是在此基础上针对金融业务的专业算法和
模型。
业务应用层：负责将分析挖掘结果的可视化展现形式，集成到相应的金融业务系统中。 另外，在数据采集层和数据存储层之间，由ETL 工具负责数据预处理任务；在分析挖掘层和业务应用层之间，由可视化展现工具负责分析挖掘结果的可视化展现任务。
4.2 技术架构
“金融大数据服务平台”的技术架构采用多层次形式，如下图所示： 静态数据日志文件……其它数据C/S 应用
客户端数据采集Map-Reduce 日志分析、提取Sqoop 关系数据库导入……定制化程序其他数据采集HDFS + Map-Reduce Kettle, ……
数据抽取、转换、加载
Hive
HBase
……ZooKeeper 关系数据库R 分析包, SAS, ……分析挖掘模型R 分析包, SAS, ……
分析挖掘算法R 图形包，……
可视化展现
业务系统1业务系统2业务系统3……数据源
数据采集层数据存储层
分析挖掘层
业务
实现层
动态数据
数据源包括各类动态数据（如行为数据）、静态数据（如属性数据）、日志文件以及其它数据等，可以是结构化的、半结构化的和非结构化的数据。
在数据采集层，各采集工具根据具体情况采用不同的技术实现方式，如对动态数据的采集，使用C/S 架构的客户端采集SDK ，对日志文件使用Map-Reduce 方式的分析提取工具，对静态数据按Sqoop 方式从关系数据导入，对其它数据则使用定制化程序，等等。
ETL（数据抽取、转换、加载）将采集到的各种数据整合成统一的数据模型，包括数据清洗、数据转换、数据规约、数据集成等。为加快项目进度和保证项目质量，初步决定在某个支持Hadoop的开源ETL产品（如Kettle）的基础上进行二次开发。
在数据存储层，Hadoop集群使用Hadoop技术生态圈的诸多关键技术，包括：分布式存储HDFS系统、并行处理Map-Reduce机制、No-SQL数据库Hbase、数据仓库Hive、协调系统ZooKeeper等。此外，还需用到关系数据库担任数据中转、元数据存储、供某些软件使用等用途。
分析挖掘层的任务是在Hadoop集群实现各种分析挖掘算法和分析挖掘模型。算法和模型有两类，一类是抽象的数学算法（如聚类算法、关联分析算法）和数学模型（如神经网络模型、事物关联模型等），另一类是此基础上构建的专业算法（如金融客户分类算法、效果评估算法）和专业模型（如客户行为特征模型、效果评估模型）。为加快项目进度、保证项目质量和扩大适应范围，初步决定在SAS和R的分析挖掘包的基础上实现算法接口，并利用算法接口构建大部分模型，其余部分视实际情况而以自主研发方式构建。
可视化展现将分析挖掘结果面向用户进行各种可视化展现（如散点图、直方图、分布图、饼图等），分析挖掘的质量也决定着展现的质量。为加快项目进度，初步决定在某个可视化展现开源产品（如R的图形包）的基础上进行二次开发。
在业务实现层，分析挖掘结果集成到相应的金融业务系统中。具体方式既可以是实现某个独立的新业务系统，也可以是在现有系统中实现一个或多个新模块，从而扩充或提升原有的功能。
4.3物理架构
“金融大数据服务平台”采用集中部署方式，硬件环境由Hadoop集群服务器和数据库集群组成，如下图所示：
关系型数据库Hadoop集群
...
DN2DN3
NN1NN2DN1DB DB
其中，Hadoop集群包括两个NameNode（主从方式）和多个DataNode（最少3个，以
后根据需要增加）；NameNode用于管理数据在DataNode上的分配，而DataNode用于数据的存储。NameNode和DataNode采用相同的配置，运营环境中建议为：CPU为2块*16核，主频2~2.5GHz，内存128G，硬盘12块*2T。
数据库集群包括两台数据库服务器，采用双机热备方式。其配置建议为：CPU为2块*16核，主频2~2.5GHz，内存64G，硬盘12块*2T。
五. 项目人员组织
5.1项目组织结构
各组组成及职责为：
项目领导组：由公司高管、部门经理担任，负责组织、监督、协调项目的进行；
项目经理：由项目领导组任命，基本职责是确保项目目标准时、优质地完成；
大平台组：负责金融大数据服务平台的相关事务，包括搭建Hadoop大数据集群、实现数据挖掘算法、构建业务模型等；
业务组：承担与金融业务相关的事务，包括市场调研、对金融业务系统、功能性产品的需求分析等；
系统开发组：承担对各产品及业务系统的开发任务，包括SDK产品、ETL工具、可视化展现工具、各个金融业务系统的开发等。
5.2项目人员配置
组别级别人数备注
项目领导组高级管理人员1或多人由公司高管、部门经理兼任项目经理中级管理人员 1
大平台组
系统设计员多人技术专家
实施人员多人
业务组
需求分析员每产品或系统1人一般由组长兼任
系统设计员每产品或系统1人
业务实现组系统设计员每产品或系统1人一般由组长兼任编码人员多人
测试人员多人
实施人员多人
六.项目进度计划
“金融大数据服务平台”的整体进度分项目规划、需求调研、项目实施、推广及服务共四个阶段。
项目规划阶段自2014年11月3日至2014年11月28日，共20个工作日。
需求调研阶段自2014年11月24日至2015年3月20日，共85个工作日
项目实施阶段自2014年11月10日至2015年5月29日，共145个工作日（含元旦、春节、劳动节等法定节假日），按SDK产品、数据采集、集群搭建、算法层研发、构建模型、ETL工具、可视化展现工具、统一广告发布系统、精准营销系统、业务体验优化系统、客户流失分析系统和风险分析系统共十二个小项分别进行。
推广及服务阶段，每一项功能性产品或金融业务系统完成后，即可开始进行推广，并一直持续进行。
时间进度如下图，详细请参见“金融大数据服务平台进度.xls”和“金融大数据服务平台.mpp”。
注：市场推广和服务的结束时间实为“持续”。
七. 财务及设备计划
八.风险管理
软件项目开发具有连续性、复杂性、少参照性、无规范标准等特点，风险程度较高。对于“金融大数据服务平台”，不但涵盖范围广，包含产品多，而且技术要求高，业务需求复杂，因此尤其需要重视各种风险。
以下是“金融大数据服务平台”可能遇到的风险及其防预措施：
●合同风险：与客户签订的合同不科学、不严谨，与客户在项目边界和各方面责任界定不清等是影响项目成败的重大因素之一。预防措施是项目建设之初，要全面准确地了解合同各条款的内容、尽早就模糊或不明确的条款签订补充协议。
●需求变更风险：这是软件项目经常发生的事情。一个看来很有利可图的项目，往往由于无限度的需求变更而让开发方苦不堪言，甚至最终亏损。预防措施是项目建设之初，就和客户书面约定好需求变更控制流程、记录并归档客户的需求变更申请。
●沟通不良风险：项目组与项目各干系方沟通不良，是影响项目顺利进展的一个非常重要的因素。预防措施是项目建设之初就和项目各干系方约定好沟通的渠道和方式、项目建设过程中多和项目各干系方交流和沟通、注意培养和锻炼自身的沟通技巧。
●缺乏支持风险：上级领导的支持是项目获得资源（包括人力资源、财力资源和物料资源等）的有效保障，也是项目遇到困难时项目组最强有力的“后台支撑”。预防措施是主动争取上级对项目的重视、确保和上级领导的沟通渠道畅通、经常向上级领导汇报工作进展。
●进度风险：所有项目都对进度有着严格要求，项目进度的延迟意味着违约或市场机会的错失。预防措施一般是分阶段交付产品、增加项目监控的频度和力度、多运用可行的办法保证工作质量避免返工。
●质量风险：项目对软件质量也都有很高要求，需要密切关注项目的质量风险。预防措施一般是经常互相交流工作成果、采用符合要求的开发流程、认真组织对产出物的检查和评审、计划和组织严格的独立测试等。
●系统性能风险：一般情况下，项目对性能要求也很高，这时项目组就需要关注项目的
性能风险。预防措施一般是在进行项目开发之前先设计和搭建出系统的基础架构并进行性能测试，确保架构符合性能指标后再进行后续工作。
●工具风险：软件项目开发和实施过程，所必须用到的管理工具、开发工具、测试工具等是否能及时到位、到位的工具版本是否符合项目要求等，是项目组需要考虑的风险因素。预防措施一般是事先落实好各项工具的来源或可能的替代工具，在工具使用之前跟踪并落实工具的到位事宜。
●技术风险：在整个项目建设过程中，技术因素始终非常重要。一定要本着项目的实际要求，选用合适、成熟的技术，千万不要无视实际情况而选用一些虽然先进但并非所必须且自己又不熟悉的技术。如果项目所要求的技术项目成员不具备或掌握不够，则更要重点关注该风险因素。预防措施是选用项目所必须的技术、在技术应用之前，针对相关人员开展好技术培训工作。
●团队成员能力和素质风险：团队成员的能力（包括业务能力和技术能力）和素质，对项目的进展、项目的质量具有很大的影响，在项目的建设过程需要始终关注该因素。预防措施是在用人之前先选对人、开展有针对性的培训、将合适的人安排到合适的岗位上。
●团队成员协作风险：团队成员是否能齐心协力为项目的共同目标服务，生产管理是影响进度和质量的关键因素。预防措施是项目在建设之初，项目经理就需要将项目目标、工作任务等和项目成员沟通清楚，采用公平、公正、公开的绩效考评制度，倡导团结互助的工作风尚等。
●人员流动风险：项目成员特别是核心成员的流动给项目造成的影响是非常可怕的人力资源。人员的流动轻则影响项目进度，重则导致项目无法继续甚至被迫夭折。预防措施是尽可能将项目的核心工作不集中在个别人身上，同时加强同类型人才的培养和储备。
●系统运行环境风险：软件系统赖以运行的硬件环境和网络环境的建设进度，也对软件系统是否能顺利实施具有相当大的影响。预防措施是和环境提供方签订相关的协议、跟进系统集成部分的实施进度、及时提醒客户等。
除了以上列举的可预见风险，还可能会出现一些没有列举甚至是事先无法预期的风险，需要项目管理者尽早地去识别它们、评估风险出现的概率和影响面，从而保证项目如期、保质完成。
省城商银行 数据中心建设概要规划 V1.0 凌信 2015年1月15日
目录 一、方案概述 (3) 二、需求分析 (4) 三、自建与外包数据中心 (5) 3.1.高等级数据中心的高要求 (6) 3.2.外包数据中心的优点 (9) 3.3.数据中心的自建和外包 (10) 3.3.1.财务指标 (10) 3.3.2.保障能力 (13) 3.3.3.效率分析 (15) 四、概要规划 (17) 4.1.容灾工作计划 (18) 4.2.同城灾备 (18) 4.3.异地灾备 (19)
一、方案概述 随着银行业对信息化依赖程度越来越高，信息系统安全问题对其业务的影响也日益增大。数据集中的同时也意味着风险相对集中，在地震、火灾、水灾、疫情、计算机病毒、黑客攻击等各种灾难事件不断爆发的情况下，如何确保其信息系统安全和业务持续运行已成为一项重要而艰巨的任务。 2010年银监会发布的《商业银行数据中心监管指引》首次对国商业银行同城和异地灾备中心建设等级提出明确要求。该指引对数据中心风险管理、运行环境管理、运营维护管理、灾难恢复管理、外包管理等方面提出了明确要求，如，商业银行应于取得金融许可证后两年，设立生产中心;生产中心设立后两年，设立灾备中心等等。 城商银行目前已经有建国南路、斜西街2个运营中的数据中心，并在新建大楼中规划了专用的更大规模的数据中心。针对数据中心的升级和灾备，城商银行原计划是： 1)取消建国路机房（生产数据中心）调整到新建大楼机房（计 划2000平方米机房）； 2)斜西街机房（辅助机房）不变； 3)异地灾备机房不变。 根据国际、国数据中心的发展趋势，结合城商银行的数据中心建设现状，凌信建议： 1)取消的建国路数据中心调整到凌信第三方机房；
商业银行如何应对大数据时代 近十年来，现代互联网科技飞速发展，移动互联、搜索引擎、网络社交、云计算、大数据、物联网等技术已不断地深入应用，改变着社会各个行业的商业运营模式及我们每个人的日常工作、生活习惯。现代互联网技术的崛起，可以说是继农业革命、工业革命后，全面改变人类社会的“第三次革命”。而大数据恰恰又是当前互联网科技中最热门的一个方向，大数据时代已然来临。大数据时代的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。面对大数据时代，商业银行如何理解大数据，如何从大数据中去发掘新的商机，传统数据处理的理念及模式如何应变是各家商业银行亟需探讨和解决的一大课题。 一、如何理解大数据 大数据（Big Data）最初是指那些大量的半结构化和非结构化的信息。目前，广义上来说，大数据可认为是利用传统的流程、工具和技术无法处理和分析的数据量巨大、来源多样、结构多样的，通过分析能形成价值的数据集。 美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。Facebook每天更新的照片量超过1000万张；Twitter上的信息量几乎每年翻一番，截至到2012年，每天都会发布超过4亿条微博；2013年，百度每日处理的搜索量已超过了50亿；腾讯微信用户已接近5亿；根据中国电子商务研究中心统计数据， 2012 年我国电子商务市场交易规模达 7.85 万亿，同比增长 30.83%。总之，物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 大数据具有4个“V”的特征： 1、大量化（Volume）。存储量大、增量大。 2、多样化（Variety）。格式多，包含半结构化、非结构化和结构化。 来源多，来自于搜索引擎、社交网络、传感器等各方面。 3、快速化（Velocity）。处理速度快，1秒定律，这一点也是和传 统的数据挖掘技术有着本质的不同。
XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在2014年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度挖掘数据含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据
资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动。 （三）培养大数据人才队伍，建立大数据分析能力 结合大数据项目的落地实施，建立起一支大数据技术和分析人员队伍，具备自主运营和开发大数据的能力，以更好推动业务创新，提升我行核心竞争力。 三、发展趋势 近年来，银行业大力发展面向客户的新一代核心业务系统，信息系统建设日趋完备，电子银行等在线金融服务大幅增长，在提升客户体验和风险管控能力、满足监管各项要求的同时，形成并储存了庞大的可用数据资源。银行业的数据资源不仅包括存贷汇等结构化数据，也包括客户浏览痕迹、在线交易记录等非结构化数据，还包含客户语音、网点视频等非结构化数据。2012年，银行业的记录数据、业务数据、数据仓库数据、结构化数据和非结构化数据的数据规模分别达
金融大数据服务平台项目规划书 北京XXXX技术有限公司 研发中心 2014年11月
一. 项目介绍 1.1项目背景 银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。 银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。 1.2业务需求 目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端： 1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。 2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。 3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规 律，以及前瞻性判断，数据的预测性分析能力不足。
商业银行对大数据的运用及应对策略
商业银行对大数据的运用及应对策略 摘要 随着大数据时代的到来，各商业银行纷纷进行战略转型，营销模式逐渐实时化和精准化，立足于大数据时代，各商业银行如何及时调整并发展营销策略，灵活运用市场营销组合，寻求基于大数据时代营销特征的营销策略是商业银行面临的现实问题。本文运用理论联系实际的方法首先以商业银行大数据特征及其对传统营销理论的影响为基础，针对我国商业银行如何实现精准营销所存在的问题，提出了大数据时代下的商业银行实现精准营销的解决方法和建议。 随着大数据时代的到来，各商业银行纷纷进行战略转型，营销模式逐渐实时化和精准化，立足于大数据时代，各商业银行如何及时调整并发展营销策略，灵活运用市场营销组合，寻求基于大数据时代营销特征的营销策略是商业银行面临的现实问题。本文运用理论联系实际的方法首先以商业银行大数据特征及其对传统营销理论的影响为基础，针对我国商业银行如何实现精准营销所存在的问题，提出了大数据时代下的商业银行实现精准营销的解决方法和建议。 随着大数据时代的到来，各商业银行纷纷进行战略转型，营销模式逐渐实时化和精准化，立足于大数据时代，各商业银行如何及时调整并发展营销策略，灵活运用市场营销组合，寻求基于大数据时代营销特征的营销策略是商业银行面临的现实问题。本文运用理论联系实际的方法首先以商业银行大数据特征及其对传统营销理论的影响为基础，针对我国商业银行如何实现精准营销所存在的问题，提出了大数据时代下的商业银行实现精准营销的解决方法和建议。
关键词：大数据，商业银行，营销策略
Abstract Due to the marketization of interest rate and financial disintermediation deepening, China's commercial Banks will face more fierce market competition, commercial Banks are making strategic transition. In the era of big data, gradually real-time and accurate marketing mode, service mode constantly customization and personalization. And continually development and extension of market research, product strategy, channel segmentation and other traditional marketing strategy, promotion strategy, real time marketing, social marketing, behavior and so on in the development of new marketing methods. Integration and real-time update of structure, multi-dimensional information will deeply influence the commercial bank marketing rules. Based on the era of big data, timely adjustment and development of marketing strategy, flexible use of marketing mix, is our country commercial
商业银行大数据分析营销 课程背景： 移动互联网时代，要求银行业者将移动电商重要性提升到战略层面，更要求银行业者做到所有的服务和行为都可以量化，从而对业务发展形成全方位视角，提升决策质量和业绩表现。 课程目标： 1.结合案例、深入研讨、学习互联网银行的现状和趋势 2.对利用互联网思维、大数据进行银行服务的体系建设提出了实施建议 课程时间：6小时 课程对象：适合了解互联网金融思维，本质和金融大数据的各级银行骨干人员 课程特点： 1. 案例贯穿课程始终，从案例中，让学员认识互联网和大数据思维，转变理念。 2. 重点结合金融行业，剖析如何利用大数据。 主训导师：上海蓝草咨询 课程大纲： 引言部分 移动互联网的大幕已经拉开， 这是一场变革颠覆的盛宴， 无论你是否准备好， 任何人都无处可逃......
第一讲没有互联网，没有大数据 一、互联网金融 1.互联网金融颠覆传统银行业务 2.传统金融三个核心业务的突破 3.互联网银行 4.影子银行与P2P 5.互联网金融监管 6.互联网精神推动金融行业发展 二、商业银行战略的转移和变化 1.过往经济模式下的银行经营、管理逻辑 2.商业银行传统模式的终结 3.2016年中国银行业发展五大变化 4.客户金融需求深刻变化 5.发展普惠金融创新，丰富金融市场层次和产品 三、大数据思维 1.用户思维：得屌丝者得天下 2.简约思维：专注，少即是多
3.极致思维：服务即营销 4.迭代思维：精益创业，快速迭代 5.流量思维：免费是为了更好的收费 6.社会化思维：口碑营销 7.大数据思维：DT是为了别人满意 8.平台思维：打造多方共赢的生态圈 9.跨界思维：跨界分金 第二讲金融大数据 一、何谓大数据 1.4V特性 2.数据与大数据区别 3.大数据典型代表 二、大数据分析 1.数据的收集和准备 2.具备哪些大数据技能 3.数据分析的八个极致模型 4.CRISP 三、大数据带来的变革和价值
银行,大数据,解决方案 篇一：商业银行-大数据建设规划 XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在20XX年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度
挖掘数据内含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据 资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、
大数据在商业银行运营与 发展中的应用与实践 伴随着信息革命向纵深发展，互联网的使用渗透入社会发展的细枝末节，大数据的发展已驶入快车道，产生了大量的数据并裂变式的增长。我国作为新兴经济体，改革开放以来经济高速发展，综合国力显著提升，生产能力和出口总额都位列全球首位，互联网科技也迅猛发展，互联网应用基本普及，巨大的人口基数演化为互联网用户推进了互联网应用的进一步繁荣，民众生活的点滴都被数据记录下来，每时每刻都会产生海量的数据，我国已经成为全球数据量最大的国家之一。在大数据时代的背景下，我国的商业银行体系紧跟社会发展脚步，不断提高与时代相适应的竞争能力，已着手建立以大数据为基础的解决方案并取得了一定的成果。商业银行体系为应对大数据时代的来临，不断提高数据驾驭能力，努力把握市场机遇，推进商业银行系统的发展取得新的突破。因此我国商业银行应该加快对大数据技术的掌握和使用，是摆在我们面前的重要课题。 大数据的概念大体产生于本世纪初的美国，但被逐渐被世界各国重视并综合应用在各类市场是在2010年以后。
我国大数据运用起步较早，政府高度重视大数据积累和建设，2015年8月31日，国务院印发了《促进大数据发展行动纲要》，明确指出“数据已成为国家基础性战略资源， 大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响”。部分商业银行以高度的市场敏锐感，先知先觉，早于政府文件之前就对大数据加以应用和研究，经过数据的逐年积累，目前大部分商业银行都已建立了海量数据库，包含海量的客户数据、交易痕迹数据、经济发展信息数据、客户流失预兆数据等，商业银行业已经成为我国在大数据应用方面走在前列的行业。商业银行把利用好大数据，进一步挖掘大数据的价值作为换挡升级的重要依托，对商业银行提高市场适应能力和竞争能力、促进内部管理变革、开拓新的业务发展空间、提升战略决策高度、做好风控管理和降低运营成本等工作都有着重大的现实意义。 一、大数据的特点 信息革命以来的高速发展，我国社会形态已经进入普适计算阶段，层出不穷的新技术、新媒体、新概念铺天盖地、席卷而来，网络购物、社交媒体、即时通信工具、电子商务、AI技术、AR技术、智能交通、智能学习、共享分享等技术已在社会运行中被广泛使用，这些活动所留存的
如何看待商业银行建设大数据 多年来，“大数据”在金融行业广受欢迎，尤其是互联网金融出现之后，如果被问到互联网金融如何解决风险控制问题，他们就会干脆利落的回答，我们有大数据平台。而大数据已经成为互联网金融支持者的护身符，似乎一切难题都可以通过大数据解决，原因大数据实神秘难懂，让一般业余人士无可辩解。 要知道大数据有哪些用途，首先来了解一下什么是大数据。所谓大数据，毫无疑问不同于以往的数据概念，而是包含着大千世界发生的一切信息集合，是无法用任何平台概况的，必须用全局的眼光看问题。不同于以往的数据仓库和数据挖掘，大数据不存在样本抽取，所有数据即是样本，分析问题需要从所有数据的关联与非关联一起考虑，以此分析得出的结果也同样存在随机不确定性。由于“大数据”在互联网金融发展的带动下，商业银行也表现出对大数据的极大热情，纷纷表示要建立大数据平台来解决各种金融问题。既然大数据被商业银行给予如此大的期望，它到底能够在实际应用中为商业银行带来多大利益，在此不妨来探讨一下大数据的相关问题。 首先，商业银行需要建立大数据平台，所要包含的数据范围、数据来源、来源是否真实等一系列问题，是建立大数据平台的先决条件。金融大数据不仅仅包括金财务状况和融交易相关活动信息，还应该包括主体在现实生活和网络虚拟环境中的社交、行为、心理和活动等信息。而这些信息如何获取是建设大数据平台的关键，如果没有获取数据的来源，建立大数据平台也就成为一句空话，金融数据信息商业银行内部容易获取全面，但社交、行为和心理等与金融活动无关的数据获取，将是商业银行面临的一大难题。大型商业银行可以有雄厚资本建立自己的各种平台，但小型商业就不那么容易获取，据了解许多小型商业银行（犹如城市商业银行）通过购买数据来填补这方面的信息缺陷。但购买数据又带来了另外一个问题，购买数据是否真实可靠，如果不能保证数据真实可靠，所谓的大数据建设将犹如镜花水月。 在当前充满商业利益的时代，有些商家为了获取利益，利用小型商业银行即对大数据的渴望，又不了解大数据的情况下，提供造假数据的可能性非常高。能否提供有效地大数据信息，关系到一家企业的实力。在数据被视为宝贵资源的信
商业银行大数据六问六策 “大数据（Big Data）”的概念在过去几年里引起了各个行业的充分关注。以信息处理能力作为核心竞争力之一的商业银行，如能引入大数据的理念和相关技术，将有效提升自身的信息化水平，促进信息化银行的建设和发展。因此，有必要基于商业银行经营特点和现有IT架构，对“大数据”的概念加以分析和探讨。本文以商业银行的视角，从大数据的核心思想、数据特点、技术要领、实施要点四个方面切入，以六组问答的形式对商业银行大数据相关的思想、概念、方法、对策等进行辨析和讨论。 大数据的核心在于“大”吗？ 体量大、维度高、形态多、价值高但密度低是公认的大数据四大特点（即大数据的“4V”定义）。需要指出的是，这四大特点的概括，是出于理论研究的需要，对“数据”本身特点进行的概括。而对于商业银行的业务应用而言，则应从具体效用的角度来理解大数据思想及技术。 大数据之于商业银行，在于对既有数据分析系统的升级，显著提升数据分析和商业决策的效率。大数据的思想追求数据在商业决策中的“无处不在”，讲求数据分析与具体业务的紧密衔接。从商业智能（Business Intelligence， BI）的角度来看，大数据技术是原有BI的升级，将传统的“具体业务―商业数据―BI分析―报表―决策―具体业务”的BI流程进行了再造，压缩了整个流程的信息链条，同时提升了链条各个环节及整体的运转效率。 大数据之于商业银行，在于提供了一种有效的手段，提高商业银行对客户的理解与认知能力。大数据技术支持商业银行对大量日志数据进行统计和建模，从而了解客户的行为习惯、风险偏好、健康情况、消费能力、渠道喜好、信用状况及人口统计学等多方面的信息，进而为客户“贴标签”、“画像”;亦可整合多种信息反馈渠道的数据，帮助商业银行实时 关注、理解客户的真正业务需求。 大数据之于商业银行，在于能够低成本、批量地实现较高水准的个性化客户服务，增加客户粘性。如能有效地将大数据分析系统与移动互联网技术、线上线下一体化服务体系进行紧密融合，就可为商业银行的客户提供“千人千面”的个性化服务。例如，对于低净值长尾客户，可用较低的成本，批量化地通过电子渠道提供随身的知心服务，提高产品和服务的覆盖率;对于高净值客户，提供“客户经理+电子渠道”的随身贴心服务，提升客户的业务贡献。 可见，从具体效用的角度来看，衡量一个商业银行是否真正应用了大数据、发挥了大数据的价值，就是要看其大数据系统是否能够显著提升数据分析和商业决策的效率，是否能够提高对客户的理解与认知能力，是否能够低成本、批量地实现较高水准的个性化客户服务。如果商业银行的大数据系统未能实现上述效用，那就需要认真审视自身的大数据战略并加以调整。 大数据就是外部数据吗？
大数据与银行业新一代数据体系建设 “大数据”来了，如火如荼，大有排山倒海之势！仔细分析各种成功案例后，发现大都是在互联网行业，而它在银行业的应用，却鲜有报道。本文则重点介绍大数据在银行新一代数据体系建设中的需求、战略与具体应用。 一、大数据在银行业的需求分析 高负荷环境下高可用的海量数据管理是目前IT建设中最重要的内容，也是影响客户业务发展最重要的瓶颈。近年来的事实表明，各行各业，其数据量以及用户对服务水平等几个方面的要求是在同时快速增长的，以基于SQL的关系数据库技术为主要代表的传统数据管理技术已经明显难以应付新的需求，这其中当然也包括银行业。 仔细分析，银行IT体系中数据量的增长压力主要来源于以下几个方面的原因： 1.银行业务的快速增长导致原有企业业务数据的快速增长。也就是说，企业数据库中 需要管理的数据量及其增长速度已经难以承受； 2.客户服务水平的提高及各种监管制度的要求，导致银行IT部门不得不规划管理比 以前量大得多的数据。例如对长期历史数据的使用要求，使得银行不得不考虑原来 存放在磁带上的数据的高可用问题； 3.新的IT规划带来了新的数据类型。将社会化交互渠道引入银行业，已经成为各大 银行规划其新一代IT体系的重要目标。由此，银行IT部门就不得不关心其以前并 不关注的新的数据类型。 从目前的状态来，对以上需求1与2，银行主要是通过原有系统垂直扩容的手段来应对。但近年来，垂直扩容已经不仅仅是难以承受的成本压力了，清醒的IT工作者已经意识到这不是根本的长远之计；而对需求3，则是互联网行业的强项，银行业没有过多的技术经验与积累。 要很好的解决以上问题，必须引入新的技术理念、方法与工具，而无论从技术特征本身，还是从应用实践来看，当今最流行的大数据技术（这里主要指Hadoop MapReduce与NoSQL），都会在应对这些挑战的过程中起到重要的作用。 二、银行业大数据应用的困惑 目前为止，虽然国内的商业银行对大数据的实际应用还比较少，但这项新的技术已经得到了绝大多数银行的关注，有相当一部分银行正在进行对大数据技术的调研、论证与测试工作。正如上面分析的那样，银行业对在其IT体系中引入大数据的必要性是认同的。 但同时，银行IT部门又普遍对大数据在本企业的应用存在一定程度的困惑，这主要表现在以下几个方面： 1.大数据在银行数据体系规划中的地位究竟如何？这对其技术战略规划有何影响？ 2.大数据技术与传统的关系数据库技术关系与未来发展方向到底如何？是会最终替 代掉关系数据库吗？ 3.银行业应该如何构建大数据平台？ 4.大数据技术目前具体可以在银行IT体系的哪些方面得到有效的运用？ 本文旨在对以上问题进行探讨。 三、大数据与银行新一代数据体系 相当一部分商业银行目前正在进行新一代IT体系的规划与建设工作，其中，打造适应
××农村商业银行关于落实数据监管指引与大数据建设情况的总结报告 一、数据监管指引落实情况 （一）监控指引学习贯彻情况 ××农村商业银行（以下简称“本行”）已于2018年组织学习了《银行业金融机构数据治理指引》，于2019年组织相关部门学习了《金融科技发展规划（2019-2021）》。 一直以来，我行高度重视数据质量工作，将数据质量管理工作列为全行业务发展的重点工作。在2011年，我行已将监管统计归口部门设在业务管理部，并设立组织条线，构建由行长直接领导、归口部门牵头负责、其它部门和基层报数单位协助取数的数据质量监控体系。 业务管理部门负责全行监管统计领导、组织、协调和管理工作，并根据统计岗位职责要求，配备了两名专职统计人员以满足各项监管统计工作的需要，各支行、其它部门相关人员为兼职统计人员，负责填报本机构监管统计数据。 本行积极落实各项管理、考核制度，形成“以制度约束人，以考核激励人”的工作格局，确保统计工作制度化、规范化。我行按省联社、人民银行、监管部门的规定建立统计管理制度，在2017年更新了《××农村商业银行业务统计工作管理办法及实施细则》、《××农村商业银行金融统计工作
考核办法》、《××农村商业银行金融统计事项报备制度》、《××农村商业银行金融统计工作保密制度》、《××农村商业银行统计工作操作流程》、《××农村商业银行统计工作应急预案》、《××农村商业银行统计数据档案管理办法》、《××农村商业银行统计现场检查管理办法》、《××农村商业银行监管统计业务管理办法》、《××农村商业银行客户风险共享信息管理办法》（详见××农商行2017年度制度汇编），所有制度覆盖所有的统计报表和数据要求，并正式发布，对金融统计的内容、方法和口径等方面做出统一规定，保证金融统计报表和数据中每一个统计项目的归属关系及取数路径清晰、准确。 我行在做好统计工作管理的同时，也一直加强统计辅导和培训工作，做到每年至少一至两次统计业务培训或统计业务学习例会，统计培训内容做到实时更新，与现行的统计管理要求相一致。2018年3月初我行组织各机构信贷会计学习了2018年人行数据大集中、1104报表的新制度和报表新规定，明确了“数据质量年活动”中，数据前期治理工作的重要性。 （二）数据治理体系规划情况 本行按照省联社数据治理要求开展工作，暂未制定发布自有数据战略或数据治理体系规划。暂未设立数据治理相关组织。本行数据治理的管理组织是本行业务管理部，负责统
金融大数据中心建设规划
目录 1、数据中心数据现状 (3) 1.1 数据中心核心信息数据情况 (3) 1.2 数据中心与外部系统信息交互情况 (4) 1.3数据中心目前的数据存储情况 (4) 2、数据中心系统现状 (5) 2.1 系统架构 (5) 2.2 功能描述 (5) 2.3面临的问题 (6) 3、项目建设目标 (6) 3.1 业务目标 (6) 3.1.1.建立数据模型分析平台，开展持卡人交易行为分析 (6) 3.1.2.建立基于大数据平台的海量数据统计平台 (7) 3.1.3.能满足对海量历史数据进行快速查询的要求 (7) 3.2 技术目标 (7)
1、数据中心数据现状 1.1 数据中心核心信息数据情况 数据中心对外展示功能主要基于业务数据查询平台，其主要功能包括：关键指标展示、多维分析、专题明细查询、常用数据浏览、静态报表下载以及部分业务参数管理和维护。 数据中心保存的数据主要包含三大类：交易流水类数据、商户档案类数据和汇总统计类数据，均为结构化数据。
1.2 数据中心与外部系统信息交互情况 1.3数据中心目前的数据存储情况 数据中心目前数据量情况为全库18T，其中流水类数据为10T包括综合流水（90亿条记录），新一代增值流水（FJNL）,清分流水。每日增量流水约1200万条记录。 商户信息数据按天保存，商户数约为300万，终端数约为480万。每天数据量约为10G。
2、数据中心系统现状 2.1 系统架构 新一代流水、清分流水、结算流水和BMS商户数据分别以文本和oracle dmp格式通过ftp方式传输到数据中心服务器上，每天定时由批处理服务器通过批量框架（C++）调用批量过程按分支机构并发地将文件或DMP包导入数据库中。并通过调用存储过程完成数据的清洗、关联、数据补齐工作。 批量过程完成元数据加工工作后，按各种业务维度按天、按月汇总交易数交易金额和收益等数据并生成关键指标数据。目前数据中有各种维度的汇总统计表80余张。 完成汇总后，批量框架服务会根据关键指标数据生成cognos cube，并刷新cognos 服务；同时报表生成程序会根据中间汇总表生成预定的报表文件。 终端用户以web访问方式通过查询平台可以查询定制的报表或者通过cognos组
大数据中心发展规划 2015.04.22 总则 与传统金融相比，大数据给互联网金融不仅带来了金融服务和产品创新、以及用户体验的变化，创造了新的业务处理和经营管理模式， 对金融服务提供商的组织结构、数据需求与管理、用户特征、产品创新 力来源、信用和风险特征等方面产生了重大影响，显著提升了金融体系 的多样性，也对金融监管和宏观调控等方面提出了新的课题。大数据中 心的主要目标是利用大数据分析平台为公司业务提供信息咨询、指导、 监测。其担任着数据获取数据分析数据应用的重要职责。提高公司的决 策水平、评估公司的营销效果、协助提升公司业务风险控制能力。 大数据中心的组织架构
各部门岗位职责 1、副总经理 受总经理领导，对总经理负责。负责整个大数据中心的建设、部门规 划、人事任免。 2、客户服务部 客户服务部下设接待组合客户回访组。客户接待组负责来访客户和线 上客户接待，并做好各项反馈记录，总结客户反馈问题。对于常见连 续三次同类型问题要上报部门经理会议引起重视。客户回访组负责客 户资料收集、回访。对业务部门提供的优质客户要求做到每周一回访。 客户服务部的考核接受副总经理考核同时接受其他业务中心负责人 考核。 3、数据分析部 负责数据的建模和分析。下设技术支持组合数据分析组。配合运营部 门做好相关对外技术支持接口开发、数据存储、文档管理等工作，数 据分析组负责建模、分析。例如对对市场推广部门的推广效果进行监 测和评估，对客户来源进行分析，对搜索热门词汇、咨询量进行分析、 对同行同类业务进行实时获取对比分析。 4、数据运营部 数据运营部负责数据的收集及应用。与业务部门或其他外部企业洽谈 合作，确定数据应用目标，给到数据分析部进行分析。分为数据采集 和数据应用。数据采集是指获取数据的来源，可以是各门户网站、微 博、公司内部网站也可以是线下对接的其他企业。数据应用组主要负 责分析的数据进行产业化应用。可以是为第三方企业提供应用也可以 是为公司企业业务部门提供应用。 5、企划部 企划部企划部分为市场推广和企业发展规划。负责公司制定营销计划、 品牌策划、活动推广、媒体公关。主持和参与市场调研、情报收集、分析 与预测,不断主动提出经营发展的建议和设想,指出发展方向。密切关注法律和 体制环境的重大变化,以前瞻性的眼光提出相应对策。收集国内外主要竞争对手 的商业资讯,解剖其案例,分析其优渐势,并与公司横向比较后提出竞争建议。 五、中心发展规划 组织安排结合公司业务发展实际情况本规划分二个阶段 1、第一阶段 在一个月内企划部和客户服务部启动，首先配合公司内部网站和加盟 活动推广，公司业务宣传。 2、第二阶段 等公司各项业务正常启动后，预计二个月时间内运营部和数据分析启 动，开始对接内部业务与外部合作。预计在8月份开始提供数据分析 报告。 运营目标
《上海金融》2013年第9 期 摘要：本文首先对商业银行大数据应用研究进行了综述，其次从挑战和机遇两个方面分析了大数据应用对商业银行带来的影响，再次探讨了大数据在商业银行的具体应用实践，最后给出了大数据时代商业银行的应对 之策。 关键词：大数据;商业银行;金融脱媒;互联网金融;云计算 JEL 分类号：G21；O33中图分类号：F840文献标识码：A 文章编号：1006－1428(2013)09-0028-05 *基金项目：教育部人文社会科学研究青年基金项目（13YJCZH192）、中国博士后科学基金项目（2012M510797）的阶段性研究成果，感谢责任编辑宝贵的修改建议。收稿日期：2013-05-30 作者简介：蔚赵春（1981-），男，复旦大学管理学院博士，现供职于上海浦东发展银行； 凌鸿（），男，复旦大学管理学院教授、博导。 蔚赵春1,2，凌鸿1 （1复旦大学管理学院， 上海 200433；2上海浦东发展银行上海 200001) 一、商业银行大数据应用研究综述 目前国内对商业银行大数据应用的研究论文并不多，而报纸和网络上介绍性的科普文章较多。国内研究主要介绍大数据这一新生事物及相关的技术，并探讨大数据带来的机遇和挑战以及部分大数据应用案例。国外的研究也主要侧重大数据相关的技术方面，针对银行业具体应用的文献非常少。 北京银行董事长闫冰竹从高层管理的视角探讨了大数据时代银行业的发展模式。潘明道等对大数据特征进行分析，并给出银行应对大数据挑战可借鉴的思路。方方全面分析了大数据时代将给商业银行带来的重要影响，并给出了商业银行培养面对大数据时代核心能力的策略建议。薛亮探讨了大数据技术将给银行业带来的改变以及银行的品牌建设如何适应这种改变。韦雪琼等分析了大数据技术影响下金融市场的变化，以期作出更好的投资决策和判断。李璠等论述 了大数据时代银行业的机遇与挑战，重点从技术上对比了大数据分析解决方案。刘启滨对金融行业大数据管理技术进行了简单介绍。孙浩从技术视角探讨了大数据给金融业带来的挑战。王珊等探讨了金融企业在大数据时代的技术选择策略。潘镭探讨了大数据在供应链金融方面的应用。刘天白等以交通银行信用卡中心大数据应用探索为案例，探讨了银行试水大数据时的策略。刘静如论述了大数据在金融业风险管理方面的应用。 二、大数据应用给商业银行带来的机遇 大数据应用作为创新的催化剂，正改变着金融业态，并将引起银行业务模式深刻的变革。大数据应用将推动商业银行在经营理念、组织架构、业务流程、管理模式、IT 架构等领域进行全面调整和深度整合，不断增强核心竞争力，提升企业组织绩效和资本的运营效率，提高盈利能力。大数据应用为我国商业银行经 金融理论与改革
银行大数据应用建设探索 一、数据应用广泛存在的问题 当前，银行业数据应用普遍面临以下问题： 一是找数难（数据不完整）。以数据访问为例，个人客户数据在个人金融部，反欺诈数据在风险管理部，考核数据在计财部......实际上银行的用数环境呈蛛网结构，A找B、B找C、C找A，系统一旦多到一定程度，蛛网是不可控的。前端应用组件多达上百个，为了避免蛛网结构导致的相互交叉，是否可以在中间加一个数据整合区，作为数据交换的平台？这种做法确实在物理层面满足了各组件数据交换的需求，然而在逻辑层面，由于数据整合区只管理共享数据，针对特殊需要的数据，还是采用传统的部门间申请、协调的方式。要真正解决“找数难”的问题，需要银行在大数据应用方面，建立一个核心枢纽，支持全行数据应用和业务决策。通过设立大数据分析中心，集中全行的数据分析能力为全行数据应用提供支持，既然要支持全行的应用，就需要获取全行的数据，但是在数据获取方面还是遇到很大的阻碍，来自业务部门和技术部门的阻碍都有。 二是标准缺乏，数据不一致的情况普遍存在。数据标准化的意义不言而喻，是数据整合和数据应用的前提，但是统一数据标准却是很困难的事，因为数据标准没有落到业务流程中，如“个人客户性别”这个数据，在建行早期100多个原系统中存在着6套不同的编码，一些系统是“男女”， 一些是“FM”，还有一些是“01”...... 三是用数门槛高，主要是数据分析的工具少、操作复杂。
四是用数慢，开发周期长，缺乏平台支撑。以监管报表为例，前端的统计人员要理清业务口径，把相关要求提交给各业务部门，业务部门根据要求衔接后端应用系统，再进行开发、测试，是一个复杂、漫长的过程。 五是用户体验不佳。 大数据发挥价值的前提条件是要让数据和业务形成闭环，实现两个目标：一是明确数据在业务中的应用效果，有时候数据模型看起很完美，但是在业务流程中效果体现不出来；二是业务要反哺数据。数据作为一种资源，与人、资本这样的资源最大的不同是不具有排他性，一般意思上，某种资源被他人占用后就无法再被使用了，但数据不一样，被使用的次数越多价值越高。也就是说，数据作为生产要素，在生产过程中会不断增值；反之，数据参与业务过程，如果不能实现增值，则意味着数据管理可能是失败的。因此，在数据使用的过程中，除了要在业务中沉淀数据价值，还要将增值后的数据存储到后端的数据库，但目前整体上看，业务反哺数据的工作还是缺失的，数据模型的应用效果缺乏有效评估，除了手机银行，其他渠道数据和业务的闭环还没有形成。 因此，在大数据应用中，数据和业务的关系还有待突破。大数据要真正成为银行核心生产力要素，需要有一个更接近于前台的数据管理部门，也可以叫数据中台。 二、大数据建设过程 第一阶段，数据整合阶段，完成企业级数据能力及架构建设。 没有一个核心的数据架构，大数据战略和大数据应用就是空谈。在这一阶段的重点工作：
银行业金融大数据服务平台项目 规划书
项目介绍 1.1项目背景 银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。 银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。 1.2业务需求 目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端： 1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。 2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。 3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规律， 以及前瞻性判断，数据的预测性分析能力不足。
某大型国有银行大数据营销案例项目背景 随着互联网金融对传统银行业务的不断冲击，银行业变革需求迫切，做为互联网+金融的先锋，某大型国有银行早已布局了银行电商平台，但该电商平台需要通过大数据技术实现个性化商品推荐，提高网站的用户体验、客单价和复购率，同时希望能够搭建用户画像和用户分析系统，帮助运营人员优化网站运营。 项目目标 1、在该银行的电商商城上为用户提供精准实时的个性化推荐服务 2、提供网站运营智能分析工具 3、提供可视化分析报告 941大数据服务联盟解决方案： 1、个性化站内推荐 （1）部署代码，采集数据 通过js部码的方式，在商城网站的PC端和手机客户端采集商品信息和用户行为等非敏感信息，包括商品编号、商品名称、商品品类、页面访问、浏览品类、浏览单品、搜索、添加购物车等。 （2）建立推荐模型
对于收集上来的商品和用户行为信息，经过算法模型的处理变换为多种形式的个性化推荐模型，并结合掌握的外部全网数据，形成更精确的推荐结果。（3）进行精准的个性化推荐 基于场景引擎、规则引擎、算法引擎、展示引擎以及流处理平台和批处理平台进行个性化数据运营，形成个性化推荐方案，推荐的内容包括商品、广告、活动、商家等。 2、智能分析引擎 （1）客户画像 将商城的数据与全网数据整合，了解用户在其它电商、社交平台、APP上的外部行为，提供更准确的客户画像。 （2）商业分析和网站运维分析 整合商城前后端数据，提供基于流量、通路、访客、会员、客户行为、商品、订单、融资等的数据分析，通过分析引擎，向业务人员展示电子商务的核心数据情况，满足商业分析（BA）和网站运维分析(WA)的需求。 （3）算法和效果评估 建立完整的客户行为分析引擎，包括基于多种算法产生的客户行为模型和最终的效果评估优化等。 3、可视化数据分析报告 （1）可视化数据分析报告系统。