银行大数据解决方案
一、项目背景
2015年8月31日，国务院印发了《促进大数据发展的行动纲要》，这一战略性文件为我国大数据发展与应用提供了指导纲领和政策保障。在数据已成为银行重要资产和宝贵资源的形势下，《纲要》也为银行利用大数据推动转型发展指明了方向和实施路径，带来了发展新机遇。
当前中国银行业正在步入大数据时代的初级阶段。经过多年的发展与积累，目前银行业的数据量已经达到100TB以上级别，并且非结构化数据量正在以更快的速度增长。银行业在数据方面有天然的优势：一方面，银行在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据，这些数据在运用专业技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行具有较为充足的预算，可以吸引到实施大数据的高端人才，也有能力采用大数据的最新技术。
总体来看，尽管大数据在银行业的应用刚刚起步，目前影响还比较小，但是从发展趋势来看，应充分认识大数据带来的深远影响。银行业需要进行统一的大数据平台建设，建立综合预测分析体系，整合生产系统数据资源。在此基础上与《纲要》规划的信用信息共享交换平台和公共机构数据统一开放平台有效对接，双管齐下扩展数据来源和采集渠道。这可以一方面高效收集、有效整合企业和社会公共数据，掌握企业真实需求，实现精准营销。尤其可通过农业农村信息综合服务和农业资源要素数据共享，获取三农数据和小微企业数据，解决数据挖掘和分析难点，提升三农和小微金融服务水平。另一方面利用平台动态监控企业经营及个人信用变化情况，强化信用风险智能化管理和预警，降低信用评估、风险控制的难度和不确定性，实现风险管控和精准营销的双重收益。
二、银行大数据平台总体框架
2.1银行大数据平台框架概述
银行大数据建设是基于已有的信息化基础，充分利用和整合已有信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。
（1）大数据分析基础平台
按照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。
（2）数据应用系统
基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。
（3）数据管控
建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障。
2.2银行大数据平台建设原则
平台是大数据的基础实施，其建设、设计和系统实现过程中，应遵循如下指导原则：经济性：基于现有场景分析，对近年数据量进行合理评估，确定大数据平台规模，后续根据实际情况再逐步优化扩容。可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。
可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠；对数据指标要保证完整性，准确性。
安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，为系统提供全方位的安全实施方案，确保企业内部信息的安全。大数据技术必须自主可控。
先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据
存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及未来数据应用需求，引入对应大数据相关技术。
平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户, 实现计算负荷和数据访问负荷隔离。多集群统一管理。
分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的无缝对接
2.3银行基础数据层来源
2.3.1银行内部大数据资源
金融行业的数据大多数来源于客户自身信息以及其金融交易行为，其中八成左右的数据集中于银行。因此依照目前积累沉淀的数量资源情况，将数据主要分为三大类：第一类：客户基础数据
客户信息数据，即客户基础数据，主要是指描述客户自身特点的数据。
个人客户信息数据包括：个人姓名、性别、年龄、身份信息、联系方式、职业、生活城市、工作地点、家庭地址、所属行业、具体职业、婚姻状况、教育情况、工作经历、工作技能、账户信息、产品信息、个人爱好等等。
企业客户信息数据包括：企业名称、关联企业、所属行业、销售金额、注册资本、账户信息、企业规模、企业地点、分公司情况、客户和供应商、信用评价、主营业务、法人信息等等。
目前银行业的客户信息数据积累数量无疑是最大，如果将这些割裂的数据整合到大数据平台，形成全局数据，再按照自身需要进行归类和打标签，由于都是结构化数据因此将有利于数据分析。可以将这些信息集中在大数据管理平台，对客户进行分类，依据其他的交易数据，进行产品开发和决策支持。
第二类：支付信息
交易信息数据，可以称之为支付信息，主要是指客户通过渠道发生的交易以及现金流信息。
个人客户交易信息：包括工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购买理财产品、购买保险产品、信用卡还款等。
企业客户交易信息：包括供应链应收款项、供应链应付款项、员工工资、企业运营支出、同分公司之间交易、同总公司之间交易、税金支出、理财产品买卖、金融衍生产品购买、公
共费用支出、其他转账等。
第三类：资产信息
资产信息主要是指客户在金融机构端资产和负债信息，同时也包含金融机构自身资产负债信息，其中数据大多来自银行。
个人客户资产负债信息包括：购买的理财产品、定期存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、企业年金等。
企业客户资产负债信息包括：企业定期存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理财产品、票据、债券、固定资产等。
银行自身端资产负债信息包括：自身资产和负债例如活期存款、定期存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。
第四类：新型业务数据
此类数据包括系统的运行日志、客服语音、视频影像、网站日志等。
2.3.2外部大数据所需来源
银行机构进行大数据分析，为了赢得差异化竞争，就必须考虑其他数据源的输入，这些数据是自身不具有的，但是对其数据分析和决策起到了很重要的作用。
银行内部有客户信息、交易信息、信用信息、资产信息等，具有较全的数据，需要的外部数据具有一定针对性，下表是外部数据需求的整理。
表一：银行外部数据需求类型
正是由于以银行为代表的金融机构需要大量的外部数据弥补自身内部数据的不足，从而催生针对金融业的大数据交易市场。目前金融机构可以采用同大数据厂商合作的方式，通过自身平台来采集数据或购买第三方数据。
三、大数据在银行业的应用场景
3.1客户管理
借助大数据分析平台，构建360度的立体画像。
图二：银行大数据技术客户画像维度
随着大数据的大量涌现，尤其是在社交网络的背景下，服务渠道不应仅局限于传统的银行渠道，而应整合新的客户接触点（即社交媒体网站等），这种趋势已经变得日益清晰。银行业发展战略也逐步从以产品为中心转向以客户为中心，客户成为银行发展的重要驱动力。银行不仅仅销售产品和服务，而且还应为用户提供完美的多渠道体验，成为真正以客户为中心的组织。了解客户到底是谁以及客户最真实的需求成为银行经营管理者最为关注的问题。
银行可以通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备等媒介产生的非结构化数据，构建全面的客户视图。根据用户行为对用户进行聚类分析，进而可以有效的甄别出优质客户、潜力客户以及流失客户。
3.2营销管理
借助大数据分析平台，执行个性化营销管理及策略。
图三：银行大数据技术精准营销
在客户画像基础上，银行可展开精准营销。1）实时营销。例如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销，或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；3）个性化推荐。银行可以根据客户的喜好进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。
3.3构建更全面的信用评价体系
利用大数据平台及技术，可以更好的构建银行系统的信用评价系统。
图四：银行大数据全面信用评价体系
信用风险评价是银行信用风险管理工作的依据和基础,其前提是要为信用风险评估建立科学合理的评估指标体系。大数据能分析及帮助银行了解客户各方面的信息，做出快速、高效的评价、评估，实现业务安全的实施。
3.4风险管理
借助大数据平台及技术，实现高效准确的风险控制。
图五：银行大数据全面风险管理体系
随着银行业务的快速发展，银行经营者必须有效地甄别风险、防范风险和控制风险。风险管理成为银行稳健发展至关重要的一环。社会化媒体的互动、实时的传感器数据、电子商务和其他新的数据源，正给银行经营带来一系列的挑战。仅仅借助传统的解决方案，无法全面进行风险管理。大数据分析帮助银行了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，建立完善的风险防范体系统。
3.5运营优化
在运营优化方面的应用包括：1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道，进而为银行产品或者服务找到合适的渠道，优化推广策略。2）产品和服务优化。银行将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，智能化分析和预测客户需求，从而进行产品创新和服务优化。
3.6 解决信息孤岛
银行的系统是非常多，带来的问题是信息孤岛，过去，银行通常需要小时的时间间隔去扫描各个业务系统，这会造成一些业务方面的问题。比如：现在绝大多数的交易都可以在多渠道上做，用户在做的过程中可能会遇到困难。遇到这种情况，客户会打电话到客服，相应的客服人员不太可能实时的知道这个问题。新一代的解决方案是利用现在大数据的能力把分布在各个地方的原始数据和原始的日志定时每隔一分钟进行收集和抽取，放到分布式文件系统里，然后建立索引，这样一来就能够实时的查询
四、大数据在银行业的应用趋势
4.1风险定价模型
利率市场化改革逐渐深化，银行正在增强自身的定价能力。在贷款业务上，银行与银行的竞争本质上就是风险定价的竞争。现在，银行在客户数据和数据质量方面落后于互联网金融企业，但是风险定价能力则超过这些企业。
4.2多渠道数据的实时交互
银行需要加快新兴电子渠道建设，同时还要基于客户统一信息视图，实现数据在各渠道终端的及时交互。
4.3加强语义和语音分析
很多银行内部、社交网络、移动设备上来的数据和电子商城上的数据都是非结构化的，其中一部分还是语音，比如客户录音，这些数据对于银行了解客户也是至关重要的。
4.4实时营销将会推广到更多的银行和更多的银行业务
根据客户所在地进行营销、根据客户最近一次的交易进行营销、根据客户的言论进行营销、根据客户浏览的网页或者商品进行营销等。
4.5银行进入P2P领域
对于部分细分市场，银行将从贷款的提供者走向贷款的中介。实际上，我们已经看到一些银行正在尝试这种模式，他们仅仅是撮合资金的提供方和需求方。
4.6将银行的电子商城业务和银行金融服务结合起来
银行进入电子商务领域本质上并不是为了与互联网电子商务公司竞争，而是为了更好地了解客户。从目前来看，银行开展的电子商务业务都不太顺利，电子商城上的商品价格普遍偏高，交易量稀少。
五、银行大数据应用风险及防控
银行业结合了互联网大数据会使得该行业面临更多更复杂的风险。在此背景下银行业大数据健康可持续发展离不开对风险的监控和管理。
5.1数据安全和数据定价风险
银行从一开始诞生就离不开数据，银行的核心基础就是大数法则，在大数据时代，互联网银行在深度触网的过程中会产生各种结构化和非结构化数据，深度挖掘客户的大数据，开发出客户潜在需求和合适的金融产品，前提是确保这些数据来源的全面性、可靠性和准确性，防止数据失真所带来的定价风险。
5.2信用与网络欺诈风险
运用大数据分析软件，可以预防信用卡和借记卡欺诈。通过监控客户、账户和渠道等，提高银行在交易、转账和在线付款等领域防御欺诈的能力。在监控客户行为时，大数据可以识别出潜在的违规客户，提示银行工作人员对其予以重点关注，从而节省反欺诈监控资源。
5.3运维风险和运营风险
前者如数据丢失、数据泄露、数据非法篡改、数据整合过程中的信息不对称导致错误决策等，后者如企业声誉风险、数据被对手获取后的经营风险等。因此，必须加强数据管控。为此，一是高度重视并推进统一的数据标准，并做好数据清洗，保证数据质量。二是审慎划定数据边界，合理开展内外部数据共享和非核心数据业务外包。三是大数据下应更加重视隐私保护和信息安全，加大对反网络攻击的投入。
5.4操作风险
之所以将此风险单独列举出来，主要是出于此风险的危害性角度考虑，因为该风险很多时候会对企业产生致命性的打击。大数据时代的互联网金融面临的操作风险更加不容忽视，银行工作人员和客户的在线操作风险如果不引起重视，不仅会影响互联网金融的长远发展还会引致法律风险。尤其在大数据时因此我们呼吁操作风险的管理应纳入到日常的风险管理中。
六、银行大数据商用价值
银行对于大数据的就用不单单在于提供一种有效的手段，提高银行对于客户的理解与认知能力。他的商用价值还表现在以下几个方面：
（1）批量实现较高水准的个性化客户产品服务，增加客户粘性，推动业务创新。有效地将大数据分析系统够构建客户360度全方位视图，设计更有竞争力的创新产品。对企业型客户的财务状况、相关产业链上下游数据分析，把握客现在的状况，更可以通过数据的交换、映射对其进行短期、中期预测未来发展状况。同时通过与同行业中的企业比较，以及利用公共平台收集企业的上、游对其评价，取得多维度的评估，对中小企业风险进行有效的识别，从而缓解银行与中小企业信息不对称问题，更好地推动中小企业市场业务创新。
（2）针对客户需求，实现精准营销。银行借助大数据分析平台，通过对客户的浏览记录、购买路径、消费数据，进行挖掘、追踪、分析，将不同的客户群体进行聚类，根据不同的客户特性打造个性化产品营销服务，将最适合的产品服务推介给最需要的客户。提高客户对银行服务的认可程度以及客户经理在营销过程中的专业程度。
（3）增强风险管控能力。大数据分析帮助银行摒弃原来过度依靠贷款人提供财务报表获取信息的业务方式，转而对其资产价格、账务流水、相关业务活动等流动性数据进行动态监控，了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，从而有效提升客户信息透明度，建立完善的风险防范体系。
（4）促进银行内部管理流程化，降低管理运营成本。运用大数据能够增加银行内部的透明度，使企业上下级之间的信息流通更顺畅；同时，基于大数据优化企业内部的各种流程，以及通过自己和社会信息归集渠道，了解客户真实反映，积极改进和提高，大大缩短信息收集、反馈时间，提高企业运作效率。而通过大数据应用和分析，能够准确定位内部管理缺陷，制定有针对性的改进措施，实行符合自身特点的管理模式，进而降低管理运营成本。