中国证券 01 年第0
期
从概念逐渐走向应用。互联网金融企业在过去的一年里快速发展，对传统金融行业造成了严重冲击。互联网金融企业之所以能发展壮大，很大程度上依赖于大数据和云计算技术，能够动态了解客户的多样化需求，改善传统金融的信息不对称问题，推出满足客户需求的个性化金融产品。
随着A 股市场全面放开一人一户限制、证券经营牌照将会向互联网公司放开，面对居民财富迅速增长和其对理财产品多样化的需求，证券公司受到来自行业内外部的双重压力，它们正在进行业务转型，传统IT 基础设施环境已无法满足证券公司对转型和创新战略的要求，建立大数据驱动的创新平台将是证券公司抢占市场先机的必备条件，为即将到来的业务差异化竞争提供强有力的技术支持。
一、证券公司大数据的实际应用
相对于其他行业的数据，证券行业具有数据质量高、数据价值大、可定位性好等特点。证券
分析，可以细分客户类别，根据类别为客户提供差异化服务。公司可以对实时行情、财务报告、经济信息、新闻等衍生数据进行分析，可以对产品/投资品信息、头寸/交易信息、交易对手数据、评级数据等参考数据进行分析，也可以分析曲线、差价、波动信息、相关性分析等经过加工后产生的数据。
（一）证券公司大数据的应用概括
定量分析是在基于产品的几十个甚至上百个独立变量之间寻找定义数以千计的客户细分。从深度历史数据中找到隐含相关性，公司可以做出更加正确的决策，在寻找有针对性的销售、市场和定价策略方面更可能成功，这意味着带给证券公司更多的收入和更快的销售周期。图1是大数据在证券公司的主要应用流程图，详细描述了大数据在量化研究、风险管理、客户管理等方面的应用。
1 本课题受中国博士后科学基金资助项目（ 01 M ）资助。
中国证券 01 年第0
期
信息，在特定时间和所处头寸期间由市场波动来计算风险度量，最重要的风险度量是风险价值模型（VaR ）。如果对于特定风险的敞口太高，交易员就需要通过购买期货、卖出特定股票来对冲头寸。每笔交易和头寸的风险度量计算都是基于交易系统的市场数据来完成的，风险系统依赖于每天的交易输入和市场数据，这带来了累积式风险的不完整性和不同步性。为了做出正确的决定，风险管理团队需要使用最新且完整的风险信息。风险是根据不同的因素进行计算的，比如每只股票、每个产品、每个交易头寸、甚至每个客户等。风险管理系统通过各种累积式层次来展示累积式风险。为了分析各种风险，传统的方法是首先创建数据仓库，然后将从其他系统中导入的数据转换为特定格式。这意味着对于每个风险系统和每个数据格式都需要数据抽取、转换和加载，因此需要针对数据仓库创建特殊的数据库架构，这些结构在未更改数据的快速读入中是最优的。在处理累积式风险数据和度量时，数据需要在给
并行性和云计算的快速发展为处理海量化的数据提供了很好的思路。多个具有不同性能目标的工作负载将聚集成巨大的机群，在昂贵的大型机群上进行资源共享需要新的方法。新的方法决定如何运行和执行数据处理工作，以便用较低的代价来完成每一个工作负载的目标，并及时处理系统故障。
（二）及时性
速度是规模的另一方面。要处理的数据集越大，进行分析所花费时间将越长。在大数据背景下，需要立即得到分析结果。例如，在进行信用卡交易时，如果怀疑该信用卡涉嫌欺诈，应该在交易完成之前做出判断，以防止非法交易的产生。这就需要事先对部分结果进行预计算，结合新数据进行少量的增量计算并迅速做出判断。
高频交易是近些年来兴起的新型交易策略，它利用复杂的计算机技术和系统，以毫秒级甚至更快的速度执行交易，且日内短暂持仓。1毫秒的交易执行延迟都可能带来高达数百万元的交易
中国证券 01 年第0
期
分析，设计预警的阈值，及时发现系统运行故障并进行实时监控，提高系统的可预判性。
（三） 隐私性
数据隐私是另一个引人关注的问题。在大数据环境下，该问题更加突出。有效地进行数据隐私管理既是一个技术问题，又是一个社会问题。基于位置的服务需要用户和服务供应商分享其位置，这会造成明显的隐私问题，攻击者或基于位置的服务器可以从位置信息中推断出用户的身份，而隐藏一个用户的位置比隐藏身份更具有挑战性。由于数据的特殊性，证券公司不能将数据承包给第三方，如何保证证券公司私人数据的正常使用，并将部分数据结果分享给客户，又能够保证数据隐私不被泄漏，对技术的应用提出了挑战。
（四）大数据异构性和不完备性
大数据的异构性和不完备性是数据处理中面临的挑战。所谓异构性是指数据有多种不同的呈现形式，如视频、数字、文本等，导致数据格式上的异构。目前机器分析算法能够智能处理同构
的内存计算技术、高效存储与技术耦合、高效并行的分布式计算方法及相关的基础理论，以满足实时、高效、低能耗与低成本的大数据分析与技术需求，是证券公司需要面临的挑战。
此外，大数据具有维数高和大样本的特征，这两个特征引起三大挑战：一是高维数据带来噪声积累、伪相关性和偶然同质性；二是高维和大样本数据带来计算上的困难和算法的不稳定性；三是大数据的大样本通常是来自利用不同的技术在不同时间点多源头的聚集。这通常带来异质性、实验变异、统计偏差等问题，需要设计更多适应性强和有效的程序来满足要求。
三、证券公司大数据的架构
在信息爆炸的时代，具备强大的数据管理与分析能力，将帮助证券公司在未来激烈的竞争中处于有利的位置。
（一）证券公司数据的存储
近些年来，传感器和其他数据收集技术价格的下降使得收集大量的数据越来越便宜。存储工
中国证券 01 年第0
期
和为分析工作的低延时提供服务。由于需要显著改善性能和低功耗，相对于硬盘存储器，闪速存储器将会更加普及。云存储闪存的使用将使得共享资源更加流行，对于大规模非结构化数据解析解的需求和对其价值的开发也在逐渐增加。连续的数据抽取、有效存储和即时分析将有助于证券
公司做出快速高效的决策，也将提高公司数据处理的效率。图 是证券公司的数据分析图示，有效结合内外部数据并将数据分析结果进行可视化，可以帮助公司提高洞察力和做出高效的决策。
学结合在一起，能够创造各种新的信息并予以执行。数据分析师正在成为银行和金融机构的重要力量。
研究人员在机器学习算法上的重大突破，构成了很多数据挖掘算法技术的基础。除了熟练掌握所需要的硬、软件技术外，数据分析师还需要保持对新思路和新技术的高度好奇和持续的深度研究，为解决复杂问题找到合适的答案。
数据的分析主要有数据分析和预测分析。所谓数据分析，是指通过对大量非结构化和结构化数据进行分析，给投资者提供有效的建议。而预测分析，主要是预测未来的市场、指数和产
品，以及分析它们之间的相关性。机器学习算法主要与预测有关，数据挖掘与总结密切相关，特
别是在寻找数据的特殊模式方面。在面临计算限制的挑战时，通常主要研发能够提供有用预测的高性能计算机系统。数据科学，主要涉及预测和
总结，也与数据操作、可视化和其他相似任务有关。其他用来描述计算机辅助的数据分析如知识
图 ：证券公司的数据分析图示
内部数据
外部数据
数据分析
洞察力/组织结构调整
可视化
中国证券 01 年第0
期
据的各种属性和变量呈现出来。对不了解大数据的人来讲，数据可视化提供了最简单快捷的了解数据的方法，使得大数据更加贴近使用习惯和需求，也使得数据变得更有意义和易于理解，帮助证券公司从复杂的数据中快速高效地进行决策。不同于传统数据可视化工具仅仅将数据加以组合、并通过图形化展示给客户，大数据环境下的数据可视化必须满足快速增长数据的需求，需要快速地收集、筛选和分析数据，然后进行归纳，并将决策者所需要的信息可视化的形象表示出来，还需要对新增的数据实现实时更新。考虑到可视化工具需被普通员工掌握，所以可视化工具还需要具有易于使用、易于操作、易于理解、易于接受等特点，并能够以多样化的形式展现出来。
四、证券公司大数据分析的受益方
大数据在证券公司的应用，不仅可以带来巨大的经济效益，还能够使得公司各层领导、员工和客户无须过多了解大数据，就可根据相关数据的可视化了解所需要的信息。
织并恪守数据驱动型决策承诺的公司。不同的客户投资存在不同的偏好需求，营业部可以根据客户需求的多样化，通过差异化的客户服务，为客户特别是机构客户打造量身定制的服务，从而培养客户的忠诚度，增强客户黏性和减少客户流失；同时可以根据数据分析情况，调整高净值客户个性化和专业化服务工作。
（三）中层领导
中层领导可以通过数据分析报告，看到不同月份之间的营业收入差异，看到不同业务的收入和净收入变化，也可以看到不同营业部之间各种收入的差别，找出影响收入的主要因素，分析未来的趋势，进而调整未来一段时间的业务。
（四）高层领导
传统意义上，考察一个公司过去一段时间的业绩，主要通过业务指标和财务指标来表现，具体可以通过收入、净利润和净资产回报率等指标确定。公司领导也习惯通过这些数据来调整工作重点。数据分析可以通过收入、净利润和净资
中国证券 01 年第0
期
求证券公司不断挖掘用户需求、提供相关增值服务，通过大数据技术进行海量数据的采集、加工和分析，为用户提供更为互联网化的投资服务是未来的趋势之一。
在大数据应用层面，与发达国家相比，我国在大数据应用层面的差距较大。其主要表现是大数据技术在我国的应用和推广发展缓慢，应用领域较少，目前取得的社会经济效益有限。我国数据资源开放和利用率低下，数据应用市场不够成熟，初期投入和应用成本偏高；在技术和人才方面，大数据处理和分析技术遇到瓶颈性难题，缺
据的巨大价值。证券公司如何合理整合内外部数据，将所有数据与交易系统有效整合，并对未来行情的整体性做出准确刻画，在大数据能够利用的情况下，将成为挑战。如何在负载加大的情况下建立合理的模型，使得当前计算速度能赶上交易数据的变化，对证券公司在系统设计、算法研发以及交易平台的最优化等方面提出新的挑战。
大数据项目的投资需要长期地实现实质性的成果并涉及重大投资，数据科学家的短缺是企业面临的主要问题，证券公司也不例外。如何尽快利用内外部资源培养自己的数据分析人员，也是证券公司未来能否抢占市场先机的关键所在。
参考文献：
[1] Hal R. Varian, Big data: new tricks for economics[R], 01 , working paper.
[ ] Jian-qing Fan, Fang Han, and Han Liu, Challenges of big data analysis[R], 01 , working paper.