证券客户数据挖掘应用分析报告企鹅号：1215792016一、前言证券行业是中国计算机应用高度密集的行业之一，较高的信息化水平使其积累了大量的数据，既有企业内部的数据，如财务状况、经营状况等，又有来自外部的客户账户信息、客户交易数据、股票市场信息、上市公司信息等。
其中，客户相关数据挖掘利用是券商摆脱低层次的同质化竞争，走出差异化服务优势的重要途径。
本文将重点分析证券行业在客户数据分析方面的应用情况，并尝试提出初步建设方案。
二、行业应用现状互联网企业为什么能介入金融？靠的不是它的技术，更是它的数据。
互联网企业充分利用其平台积累的大数据资源，将海量交易数据转化为金融商机，通过对大数据的深度挖掘实现了精准的金融服务。
互联网金融风生水起的背后，大数据功不可没。
大数据现在不仅仅是IT行业的一个炒作的概念，更像是一场IT界的全民运动。
国内证券公司也已经在大数据领域进行了一些探索。
2012年，海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”（简称“行为特征分析技术”）问世。
这项技术主要应用在两方面——根据客户历史交易行为，为每一位客户打上交易行为特点的标签；根据客户流失概率的预测。
海通证券通过对100多万样本客户、半年交易记录的数据进行分析，建立了客户分类、客户偏好、客户流失概率的模型。
据此为海通证券400多万位客户打上了行为偏好的标签。
该项技术开发时的最大初衷，是希望通过客户行为的量化分析，测算客户将来可能流失的概率，为客户维系与挽留工作提供有力的支持。
此前，券商挽留客户的做法无非是降低其佣金，但最终得到的往往是一个无效客户。
通过这样一个模型，可确定客户类型和特点，为他们提供特定服务，比如，已经发现了购买某一商品的客户特征，就可以向那些具有同样特征但还没购买该商品的客户进行推销；又比如找到流失客户的特征，然后对那些还未流失、但具有同样特征的客户进行针对性弥补。
海通证券称，“行为特征分析技术”从2012年开始已投入运行近一年，累计使用人数278248人，日均1030人；累计使用功能次数100多万次。
经2012年客户交易数据的验证，上述模型较为准确反映了客户行为。
也是在2012年，国泰君安推出了“个人投资者投资景气指数”（简称3I指数）。
3I与海通的行为特征分析技术，数据样本同样是来自券商真实客户的真实交易行为数据。
3I指数采集的客户行为样本包括账户活动率、账户持仓比例、追加资金比例、流出资金比例、浮盈率、实盈率等。
通过3I指数可了解到交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。
毫无疑问，这些基于真实行为产生的庞大数据资产是电子化对金融行业的一个极大馈赠，但国内券商如今要做的事是如何开发运用好这些数据来降低成本、提高回报率。
这种理论框架早些年就已在国内学术、证券业内搭建，也已开始了研究。
但因客户构成复杂、证券市场变化节奏太快及利润模式不断变换，再加上缺乏适合证券行业特点的数据挖掘效果评价指标体系，始终未能出现有效应用并进行普及。
三、建设方案1.人员要求数据挖掘项目不仅仅是一个技术项目，必须由技术人员和最终用户紧密合作才能确保成功的项目。
技术人员和最终用户在项目建设过程中必须分工明确、职责分明：最终用户的职责包括：确定业务目标、确定用户需求、设计业务逻辑、审核数据、验证结果等；技术人员的职责包括：确定技术方案、完成系统搭建、识别数据源、收集数据、转换数据、挖掘数据等。
下图为数据挖掘的一般流程：数据挖掘流程(图片来源：上交所数据挖掘培训)2.数据挖掘的典型应用数据挖掘的应用有很明显的行业特性，企业也会根据自身的业务情况进行调整，但在初期先上线一些典型应用，随着应用经验的增加再逐步添加个性化的需求是通用的方法。
数据挖掘的典型应用主要包括：交叉销售账户分析（如资产贡献、忠诚度、盈利率、持仓比率等）购物篮分析市场分割个性化服务欺诈行为检测风险评级信用评级客户流失预测3.建设步骤数据挖掘是一门交叉学科，是多种计算机技术的综合应用。
数据挖掘项目的大致步骤为（不涉及具体技术细节）：1)定义商业问题数据挖掘项目能否成功，并不取决于选择某种工具和算法，而在于能否将数据挖掘与企业所在的商业环境进行结合。
这也是上文所强调的需要技术人员和能够深刻理解企业业务的最终用户紧密合作的原因。
2)建立数据仓库建立数据仓库是一项耗时耗力的工作（占整个数据挖掘项目一半以上的工作量），但它又是项目的关键环节，进行数据挖掘的基础。
建立数据仓库的目的包括：提高数据质量减少非一致性报表提取和提供Metadata提供数据共享提供更好的数据访问能力在多数据源中任意传递信息及时提供信息实现数据的一致性减少新报表特别是非常规报表的需求减少非一致性报表之间协调的工作量对多数据源进行整合将历史数据和现有数据整理在与一起3)分析数据目的是找到对预测输出结果影响最大的字段，并决定是否需要增加到处字段。
4)准备数据从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集，主要包括数据选择、数据清洗、数据集成、数据约简、数据转换等几个方面。
5)建立模型建立模型是一个需要不断反复的过程，通过考察不同模型找出对解决商业问题最有用的模型。
6)评价模型模型建立好之后对其结果进行评价，解释模型的含义和价值，达到条件后方可应用到商业环境中。
评价方法有：混淆矩阵、收益表等。
7)具体实施即应用模型。
实施之后还需要不断监控，当模型失效或效果变差时甚至可能要重新建立模型。
四、典型应用场景根据证券行业的典型业务需求，数据仓库一般可以分为面向业务分析、面向行情分析和面向资讯分析三种类型。
其中，在面向业务分析数据仓库的构建过程中，客户账户数据分析和历史交易数据分析是最重要的业务分析项目。
(一)三种典型的数据仓库模型客户分析多维数据仓库模型历史交易多维数据仓库模型行情分析数据仓库模型(二)典型应用场景1.客户账户分析对证券客户进行聚类分析，界定客户特征的条件一般包括但不限于：客户号、盈利率、平均总资产、交易频率、盈利股票平均持有时间、亏损股票平均持有时间、客户持有个股收益率、委托方式成交量比率等等。
2.客户需求关联分析利用大数据分析获取客户信息并且分析客户的下一步需求，分析这位客户所需要的金融产品，进而向客户营销相关金融产品，满足客户各方面的潜在需求。
3.客户流失分析借助大数据平台搜集到客户行为记录，通过对已流失客户的行为进行分析，找到客户流失发生时的关键路径，进而能够利用流失客户的行为模式有效定位有流失倾向的客户，以便服务人员能够在客户流失前进行挽回工作。
4.客户全生命周期关键时刻标准服务（MOT）1)潜在阶段、成长阶段：客户全生命周期标准服务（一）2)成熟阶段、衰退阶段客户全生命周期标准服务（二）5.服务绩效考核管理指标分析条件一般包括但不限于：客户满意度、客户资产周转率变化、客户资产增值率、客户服务流水数、客户跟随度、荐股收益率、客户佣金贡献变化、客户下调佣金数量、客户下调佣金幅度、服务客户流失数量、客户服务覆盖率等等。
五、附录：行业应用实例(三)海通证券（基于数据挖掘算法的证券客户行为特征分析技术及其应用）1.背景随着证券经纪业务转型和创新业务的发展，客户对证券公司的服务要求越发提高，券商仅仅靠低廉的佣金率是很难留住客户的。
全面地了解客户，尤其是客户的特征、偏好，充分了解客户的个性化需求，令客户获得更大的价值，才能稳固客户的忠诚度。
正是出于这样的考虑，海通证券开创“基于数据挖掘算法的证券客户行为特征分析技术”。
该项技术开发时的最大初衷，是希望通过客户行为的量化分析，来测算客户将来可能流失的概率；同时可确定客户类型和特点，为客户提供特定服务。
2.介绍该应用针对证券业务转型、创新业务发展、客户适当性管理等提出的新要求，通过对客户历史交易数据挖掘、分析、建立客户动态行为特征分析模型，为精细化的客户服务、业务及产品的推广提供技术支持。
其应用主要体现在两方面： 根据客户历史交易行为为每一位客户打上交易行为特点的标签。
说明：通过对样本客户半年交易记录的海量信息分析，建立客户分类、客户偏好、客户流失概率的模型。
基于模型验证结果，为客户打上行为偏好的标签。
根据客户流失概率的预测。
说明：通过对客户行为特征数据进行量化分析，得出客户将来可能流失的概率。
最大限度地挽留到那些真正有意向流失的客户，以此降低客户的平均流失率。
3.效果通过这样一个模型，可确定客户类型和特点，为他们提供特定服务，在适当的时候推荐适当的产品和服务，比如，已经发现了购买某一商品的客户特征，那么就可以向那些具有同样特征但还没购买该商品的客户推销；又比如找到流失客户的特征，然后对那些还未流失、但具有同样特征的客户进行针对性弥补。
至2013年1月数据官方显示（系统已运行近一年），累计使用人数278248人，日均1030人；累计使用功能次数100多万次。
从运行阶段来看，在客户差异化服务模式、服务成本控制、产品销售、创新业务推广、客户流失率降低等方面取得了较好的应用效果。
4.2012年度“上海金融创新成果奖”（二等奖）介绍资料该项目针对证券业务转型、创新业务发展、客户适当性管理等提出的新要求，通过对客户历史交易数据挖掘、分析、建立客户动态行为特征分析模型，为精细化的客户服务、业务及产品的推广提供技术支持。
该项目改变了传统的以静态属性对客户分类的方法，采用聚类算法根据客户交易数据进行动态分析，反映客户（群）的行为变化特点；通过对客户流失原因挖掘，建立量化的客户流失预警模型，预测客户流失概率；采用数据仓库和数据挖掘技术，建立业务之间、新业务客户特征等方面的关联性分析。
在此基础上，公司可改进客户管理与客户服务模式，根据客户行为特征制定针对性的服务策略；可将产品风险和客户风险相匹配，完善客户适当性管理、减少合规风险；可根据客户行为偏好适时推进创新业务、进行产品营销，降低营销成本，提高营销速度。
该项目在客户行为特征分析、流失倾向模型、业务相关性分析等方面做出了有益的探索与示范。
自2012年运行以来，在客户差异化服务模式、服务成本控制、产品销售、创新业务推广、客户流失率降低等方面取得了较好的经济和社会效益。
(四)国泰君安（个人投资者投资景气指数）1.背景2012年，国泰君安推出了“个人投资者投资景气指数”（简称3I指数），通过一个独特的视角传递个人投资者对市场的预期、当期的风险偏好等信息。
2.简介个人投资者投资景气指数（3I指数）是国泰君安研究所对海量个人投资者样本进行持续性跟踪监测，对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。
3I指数通过对海量个人投资者真实投资交易信息的深入挖掘分析，了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。
