软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@Journal of Software,2014,25(4):839−862 [doi: 10.13328/ki.jos.004558] +86-10-62562563 ©中国科学院软件研究所版权所有. Tel/Fax:∗大数据流式计算:关键技术及系统实例孙大为1, 张广艳1,2, 郑纬民11(清华大学计算机科学与技术系,北京 100084)2(符号计算与知识工程教育部重点实验室(吉林大学),吉林长春 130012)通讯作者: 张广艳, E-mail: gyzh@摘要: 大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.关键词: 大数据计算;流式计算;流式大数据;内存计算;系统实例中图法分类号: TP311文献标识码: A中文引用格式: 孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系统实例.软件学报,2014,25(4):839−862.http://www./1000-9825/4558.htm英文引用格式: Sun DW, Zhang GY, Zheng WM. Big data stream computing: Technologies and instances. Ruan Jian Xue Bao/Journal of Software, 2014,25(4):839−862 (in Chinese)./1000-9825/4558.htmBig Data Stream Computing: Technologies and InstancesSUN Da-Wei1, ZHANG Guang-Yan1,2, ZHENG Wei-Min11(Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China)2(Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education (Jilin University), Changchun 130012,China)Corresponding author: ZHANG Guang-Yan, E-mail: gyzh@Abstract: Batch computing and stream computing are two important forms of big data computing. The research and discussions onbatch computing in big data environment are comparatively sufficient. But how to efficiently deal with stream computing to meet manyrequirements, such as low latency, high throughput and continuously reliable running, and how to build efficient stream big datacomputing systems, are great challenges in the big data computing research. This paper provides a research of the data computingarchitecture and the key issues in stream computing in big data environments. Firstly, the research gives a brief summary of threeapplication scenarios of stream computing in business intelligence, marketing and public service. It also shows distinctive features of thestream computing in big data environment, such as real time, volatility, burstiness, irregularity and infinity. A well-designed streamcomputing system always optimizes in system structure, data transmission, application interfaces, high-availability, and so on.Subsequently, the research offers detailed analyses and comparisons of five typical and open-source stream computing systems in big dataenvironment. Finally, the research specifically addresses some new challenges of the stream big data systems, such as scalability, faulttolerance, consistency, load balancing and throughput.∗基金项目: 国家自然科学基金(61170008, 61272055); 国家重点基础研究发展计划(973)(2014CB340402); 吉林大学符号计算与知识工程教育部重点实验室资助项目(93K172012K12)收稿时间:2013-09-07; 修改时间: 2013-11-21; 定稿时间: 2013-12-16; jos在线出版时间: 2014-01-23CNKI网络优先出版: 2014-01-23 15:17, /kcms/doi/10.13328/ki.jos.000015.html840 Journal of Software软件学报 V ol.25, No.4, April 2014 Key words: big data computing; stream computing; stream big data; memory computing; system instance云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,推动人类社会迈入大数据时代[1−4].一般意义上,大数据是指利用现有理论、方法、技术和工具难以在可接受的时间内完成分析计算、整体呈现高价值的海量复杂数据集合.大数据呈现出多种鲜明特征[3−7]: •在数据量方面,当前,全球所拥有的数据总量已经远远超过历史上的任何时期,更为重要的是,数据量的增加速度呈现出倍增趋势,并且每个应用所计算的数据量也大幅增加;•在数据速率方面,数据的产生、传播的速度更快,在不同时空中流转,呈现出鲜明的流式特征,更为重要的是,数据价值的有效时间急剧减少,也要求越来越高的数据计算和使用能力;•在数据复杂性方面,数据种类繁多,数据在编码方式、存储格式、应用特征等多个方面也存在多层次、多方面的差异性,结构化、半结构化、非结构化数据并存,并且半结构化、非结构化数据所占的比例不断增加;•在数据价值方面,数据规模增大到一定程度之后,隐含于数据中的知识的价值也随之增大,并将更多地推动社会的发展和科技的进步.此外,大数据往往还呈现出个性化、不完备化、价值稀疏、交叉复用等特征.大数据蕴含大信息,大信息提炼大知识,大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力、提升决策力,将为人类社会创造前所未有的重大价值.但与此同时,这些总量极大的价值往往隐藏在大数据中,表现出了价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用价值极其困难的鲜明特征.这些特征必然为大数据的计算环节带来前所未有的挑战和机遇,并要求大数据计算系统具备高性能、实时性、分布式、易用性、可扩展性等特征.大数据价值的有效实现离不开A,B,C这三大要素,即,大分析(big Analytic)、大带宽(big Bandwidth)和大内容(big Content).其中,(1)大分析.通过创新性的数据分析方法实现对大量数据的快速、高效、及时的分析与计算,得出跨数据间的、隐含于数据中的规律、关系和内在逻辑,帮助用户理清事件背后的原因、预测发展趋势、获取新价值;(2)大带宽.通过大带宽提供良好的基础设施,以便在更大范围内进行数据的收集,以更快的速度进行数据的传输,为大数据的分析、计算等环节提供时间和数据量方面的基本保障;(3)大内容.只有在数据内容足够丰富、数据量足够大的前提下,隐含于大数据中的规律、特征才能被识别出来.由此可见,大分析是实现途径,大带宽是基本保障,大内容是前提条件.大数据的计算模式[7−10]可以分为批量计算(batch computing)和流式计算(stream computing)两种形态:•如图1所示,批量计算首先进行数据的存储,然后再对存储的静态数据进行集中计算.Hadoop是典型的大数据批量计算架构,由HDFS分布式文件系统负责静态数据的存储,并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现;•如图2所示,流式计算中,无法确定数据的到来时刻和到来顺序,也无法将全部数据存储起来.因此,不再进行流式数据的存储,而是当流动的数据到来后在内存中直接进行数据的实时计算.如Twitter的Storm、Yahoo的S4就是典型的流式数据计算架构,数据在任务拓扑中被计算,并输出有价值的信息.流式计算和批量计算分别适用于不同的大数据应用场景:对于先存储后计算,实时性要求不高,同时,数据的准确性、全面性更为重要的应用场景,批量计算模式更合适;对于无需先存储,可以直接进行数据计算,实时性要求很严格,但数据的精确度要求稍微宽松的应用场景,流式计算具有明显优势.流式计算中,数据往往是最近一个时间窗口内的,因此数据延迟往往较短,实时性较强,但数据的精确程度往往较低.流式计算和批量计算具有明显的优劣互补特征,在多种应用场合下可以将两者结合起来使用.通过发挥流式计算的实时性优势和批量孙大为 等:大数据流式计算:关键技术及系统实例841计算的计算精度优势,满足多种应用场景在不同阶段的数据计算要求.Fig.1 Big data batch computing Fig.2 Big data stream computing图1 大数据批量计算 图2 大数据流式计算目前,关于大数据批量计算相关技术的研究相对成熟[3−10],形成了以Google 的MapReduce 编程模型、开源的Hadoop 计算系统为代表的高效、稳定的批量计算系统,在理论上和实践中均取得了显著成果[7,11].关于流式计算的早期研究往往集中在数据库环境中开展数据计算的流式化,数据规模较小,数据对象比较单一.由于新时期的流式大数据呈现出实时性、易失性、突发性、无序性、无限性等特征,对系统提出了很多新的更高的要求.2010年,Yahoo 推出S4流式计算系统,2011年,Twitter 推出Storm 流式计算系统,在一定程度上推动了大数据流式计算技术的发展和应用.但是,这些系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等诸多方面仍然存在着明显不足.如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统,是当前亟待解决的问题.本文以大数据流式计算系统的设计、优化和挑战为核心,系统地梳理和分析了当前大数据流式计算系统的研究和发展现状,总结了在金融银行业应用、互联网应用和物联网应用这三大典型领域中,流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征.给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特性,论述并对比了5款大数据流式计算系统,即, Twitter 的Storm 系统、Yahoo 的S4系统、Facebook 的Data Freeway and Puma 系统、Linkedin 的Kafka 系统、Microsoft 的TimeStream 系统.阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.本文工作为构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统提供了一些指导性原则,弥补了当前关于大数据流式计算的研究成果不足的局面.本文第1节分析大数据流式计算的典型应用领域及其特征.第2节论述设计优良的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该满足的关键技术要求.第3节分析对比5款比较典型的大数据流式计算系统.第4节具体阐述大数据流式计算在系统的可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的新的挑战.最后,第5节对全文进行总结.1 应用场景及数据特征大数据流式计算主要用于对动态产生的数据进行实时计算并及时反馈结果,但往往不要求结果绝对精确的应用场景.在数据的有效时间内获取其价值,是大数据流式计算系统的首要设计目标,因此,当数据到来后将立即对其进行计算,而不再对其进行缓存等待后续全部数据到来再进行计算.1.1 应用场景大数据流式计算的应用场景较多[12−17],本文按照数据产生方式、数据规模大小以及技术成熟度高低这3个不同维度,选择金融银行业应用、互联网应用和物联网应用这3种典型应用场景,用于分析说明大数据流式计算的基本特征.从数据产生方式上看,它们分别是被动产生数据、主动产生数据和自动产生数据;从数据规模上看,它们处理的数据分别是小规模、中规模和大规模;从技术成熟度上看,它们分别是成熟度高、成熟度中和成熟度低的数据.硬盘数据存储842 Journal of Software软件学报 V ol.25, No.4, April 2014(1) 金融银行业的应用在金融银行领域的日常运营过程中,往往会产生大量数据,这些数据的时效性往往较短.因此,金融银行领域是大数据流式计算最典型的应用场景之一,也是大数据流式计算最早的应用领域.在金融银行系统内部,每时每刻都有大量的往往是结构化的数据在各个系统间流动,并需要实时计算.同时,金融银行系统与其他系统也有着大量的数据流动,这些数据不仅有结构化数据,也会有半结构化和非结构化数据.通过对这些大数据的流式计算,发现隐含于其中的内在特征,可以帮助金融银行系统进行实时决策.在金融银行的实时监控场景中,大数据流式计算往往体现出了自身的优势.如:•风险管理.包括信用卡诈骗、保险诈骗、证券交易诈骗、程序交易等,需要实时跟踪发现;•营销管理.如,根据客户信用卡消费记录,掌握客户的消费习惯和偏好,预测客户未来的消费需求,并为其推荐个性化的金融产品和服务;•商业智能.如,掌握金融银行系统内部各系统的实时数据,实现对全局状态的监控和优化,并提供决策支持.(2) 互联网领域的应用随着互联网技术的不断发展,特别是Web 2.0时代的到来,用户可以实时分享和提供各类数据.不仅使得数据量大为增加,也使得数据更多地以半结构化和非结构化的形态呈现.据统计,目前互联网中75%的数据来源于个人,主要以图片、音频、视频数据形式存在,需要实时分析和计算这些大量、动态的数据.在互联网领域中,大数据流式计算的典型应用场景包括:•搜索引擎.搜索引擎提供商们往往会在反馈给客户的搜索页面中加入点击付费的广告信息.插入什么广告、在什么位置插入这些广告才能得到最佳效果,往往需要根据客户的查询偏好、浏览历史、地理位置等综合语义进行决定.而这种计算对于搜索服务器而言往往是大量的:一方面,每时每刻都会有大量客户进行搜索请求;另一方面,数据计算的时效性极低,需要保证极短的响应时间;•社交网站.需要实时分析用户的状态信息,及时提供最新的用户分享信息到相关的朋友,准确地推荐朋友,推荐主题,提升用户体验,并能及时发现和屏蔽各种欺骗行为.(3) 物联网领域的应用在物联网环境中,各个传感器产生大量数据.这些数据通常包含时间、位置、环境和行为等内容,具有明显的颗粒性.由于传感器的多元化、差异化以及环境的多样化,这些数据呈现出鲜明的异构性、多样性、非结构化、有噪声、高增长率等特征.所产生的数据量之密集、实时性之强、价值密度之低是前所未有的,需要进行实时、高效的计算.在物联网领域中,大数据流式计算的典型应用场景包括:•智能交通.通过传感器实时感知车辆、道路的状态,并分析和预测一定范围、一段时间内的道路流量情况,以便有效地进行分流、调度和指挥;•环境监控.通过传感器和移动终端,对一个地区的环境综合指标进行实时监控、远程查看、智能联动、远程控制,系统地解决综合环境问题.这些对计算系统的实时性、吞吐量、可靠性等方面都提出很高要求.大数据流式计算的3种典型应用场景的对比见表1.•从数据的产生方式看,金融银行领域的数据往往是在系统中被动产生的,互联网领域的数据往往是人为主动产生的,物联网领域的数据往往是由传感器等设备自动产生的;•从数据的规模来看:金融银行领域的数据与互联网、物联网领域的数据相比较少;物联网领域的数据规模是最大的,但受制于物联网的发展阶段,当前实际拥有数据规模最大的是互联网领域;•从技术成熟度来看:金融银行领域的流式大数据应用最为成熟,从早期的复杂事件处理[18,19]开始就呈现了大数据流式计算的思想;互联网领域的发展,将大数据流式计算真正推向历史舞台;物联网领域的发展为大数据流式计算提供了重要的历史机遇.孙大为等:大数据流式计算:关键技术及系统实例843Table 1Scenarios contrast of stream computing of big data表1大数据流式计算应用场景对比应用场景数据产生方式数据规模技术成熟度金融银行被动小高互联网主动中中物联网自动大低1.2 流式大数据特征图3用有向无环图(directed acyclic graph,简称DAG)描述了大数据流的计算过程,其中,圆形表示数据的计算节点,箭头表示数据的流动方向.处理节点数据流Fig.3 Directed acyclic graph图3 有向无环图与大数据批量计算不同,大数据流式计算中的数据流主要体现了如下5个特征[11,20,21]:(1) 实时性流式大数据是实时产生、实时计算,结果反馈往往也需要保证及时性.流式大数据价值的有效时间往往较短,大部分数据到来后直接在内存中进行计算并丢弃,只有少量数据才被长久保存到硬盘中.这就需要系统有足够的低延迟计算能力,可以快速地进行数据计算,在数据价值有效的时间内,体现数据的有用性.对于时效性特别短、潜在价值又很大的数据可以优先计算.(2) 易失性在大数据流式计算环境中,数据流往往是到达后立即被计算并使用,只有极少数的数据才会被持久化地保存下来,大多数数据往往会被直接丢弃.数据的使用往往是一次性的、易失的,即使重放,得到的数据流和之前的数据流往往也是不同的.这就需要系统具有一定的容错能力,要充分地利用好仅有的一次数据计算机会,尽可能全面、准确、有效地从数据流中得出有价值的信息.(3) 突发性在大数据流式计算环境中,数据的产生完全由数据源确定,由于不同的数据源在不同时空范围内的状态不统一且发生动态变化,导致数据流的速率呈现出了突发性的特征.前一时刻数据速率和后一时刻数据速率可能会有巨大的差异,这就需要系统具有很好的可伸缩性,能够动态适应不确定流入的数据流,具有很强的系统计算能力和大数据流量动态匹配的能力.一方面,在突发高数据流速的情况下,保证不丢弃数据,或者识别并选择性地丢弃部分不重要的数据;另一方面,在低数据速率的情况下,保证不会太久或过多地占用系统资源.(4) 无序性在大数据流式计算环境中,各数据流之间、同一数据流内部各数据元素之间是无序的:一方面,由于各个数据源之间是相互独立的,所处的时空环境也不尽相同,因此无法保证数据流间的各个数据元素的相对顺序;另一方面,即使是同一个数据流,由于时间和环境的动态变化,也无法保证重放数据流和之前数据流中数据元素顺序的一致性.这就需要系统在数据计算过程中具有很好的数据分析和发现规律的能力,不能过多地依赖数据流间的内在逻辑或者数据流内部的内在逻辑.844 Journal of Software软件学报 V ol.25, No.4, April 2014(5) 无限性在大数据流式计算中,数据是实时产生、动态增加的,只要数据源处于活动状态,数据就会一直产生和持续增加下去.可以说,潜在的数据量是无限的,无法用一个具体确定的数据实现对其进行量化.系统在数据计算过程中,无法保存全部数据:一方面,硬件中没有足够大的空间来存储这些无限增长的数据;另一方面,也没有合适的软件来有效地管理这么多数据;并且,需要系统具有很好的稳定性,保证系统长期而稳定地运行.表2对比了大数据流式计算和大数据批量计算的需求.Table 2Scenario contrast between stream and batch big data表2大数据流式、批量需求对比性能指标大数据流式计算大数据批量计算计算方式实时批量常驻空间内存硬盘时效性短长有序性无有数据量无限有限数据速率突发稳定是否可重现难易移动对象数据移动程序移动数据精确度较低较高2 大数据流式计算关键技术针对具有实时性、易失性、突发性、无序性、无限性等特征的流式大数据,理想的大数据流式计算系统应该表现出低延迟、高吞吐、持续稳定运行和弹性可伸缩等特性,这其中离不开系统架构、数据传输、编程接口、高可用技术等关键技术的合理规划和良好设计.2.1 系统架构系统架构是系统中各子系统间的组合方式,属于大数据计算所共有的关键技术,大数据流式计算需要选择特定的系统架构进行流式计算任务的部署.当前,大数据流式计算系统采用的系统架构[22−24]可以分为无中心节点的对称式系统架构(如S4,Puma等系统)以及有中心节点的主从式架构(如Storm系统):(1)对称式架构.如图4所示:系统中各个节点的功能是相同的,具有良好的可伸缩性;但由于不存在中心节点,在资源调度、系统容错、负载均衡等方面需要通过分布式协议实现.例如,S4通过Zookeeper实现系统容错、负载均衡等功能;(2)主从式系统架构.如图5所示:系统存在一个主节点和多个从节点,主节点负责系统资源的管理和任务的协调,并完成系统容错、负载均衡等方面的工作;从节点负责接收来自于主节点的任务,并在计算完成后进行反馈.各个从节点间没有数据往来,整个系统的运行完全依赖于主节点控制.Fig.4 Symmetric architecture Fig.5 Master-Slave architecture图4 对称式架构图5 主从式架构孙大为等:大数据流式计算:关键技术及系统实例8452.2 数据传输数据传输是指完成有向任务图到物理计算节点的部署之后,各个计算节点之间的数据传输方式.在大数据流式计算环境中,为了实现高吞吐和低延迟,需要更加系统地优化有向任务图以及有向任务图到物理计算节点的映射方式.如图6所示,在大数据流式计算环境中,数据的传输方式分为主动推送方式(基于push方式)和被动拉取方式(基于pull方式)[24−26]:(1)主动推送方式.在上游节点产生或计算完数据后,主动将数据发送到相应的下游节点,其本质是让相关数据主动寻找下游的计算节点,当下游节点报告发生故障或负载过重时,将后续数据流推送到其他相应节点.主动推送方式的优势在于数据计算的主动性和及时性,但由于数据是主动推送到下游节点,往往不会过多地考虑到下游节点的负载状态、工作状态等因素,可能会导致下游部分节点负载不够均衡;(2)被动拉取方式.只有下游节点显式进行数据请求,上游节点才会将数据传输到下游节点,其本质是让相关数据被动地传输到下游计算节点.被动拉取方式的优势在于下游节点可以根据自身的负载状态、工作状态适时地进行数据请求,但上游节点的数据可能未必得到及时的计算.大数据流式计算的实时性要求较高,数据需要得到及时处理,往往选择主动推送的数据传输方式.当然,主动推送方式和被动拉取方式不是完全对立的,也可以将两者进行融合,从而在一定程度上实现更好的效果.主动推送或被动拉取数据数据源数据流处理DAG数据宿Fig.6 Transformation of data stream图6 数据流传输方式2.3 编程接口编程接口是方便用户根据流式计算的任务特征,通过有向任务图来描述任务内在逻辑和依赖关系,并编程实现任务图中各节点的处理功能.用户策略的定制、业务流程的描述和具体应用的实现,需要通过大数据流式计算系统提供的应用编程接口.良好的应用编程接口可以方便用户实现业务逻辑,可以减少用户的编程工作量,并降低用户系统功能的实现门槛[27−29].当前,大多数开源大数据流式计算系统均提供了类似于MapReduce的类MR用户编程接口.例如:Storm提供Spout和Bolt应用编程接口,用户只需要定制Spout和Bolt的功能,并规定数据流在各个Bolt间的内在流向,明确数据流的有向无环图,其他具体细节的实现方式用户不需要太多关心,即可满足对流式大数据的高效、实时计算;也有部分大数据流式计算系统为用户提供了类SQL的应用编程接口,并给出了相应的组件,便于应用功能的实现;StreamBase系统不仅为用户提供了类SQL的应用编程接口来描述计算过程,也借助图形化用户视窗为用户提供了丰富的组件.2.4 高可用技术大数据批量计算将数据事先存储到持久设备上,节点失效后容易实现数据重放;而大数据流式计算对数据不进行持久化存储.因此,批量计算中的高可用技术不完全适用于流式计算环境,需要根据流式计算新特征及其新的高可用要求,有针对性地研究更加轻量、高效的高可用技术和方法.大数据流式计算系统高可用是通过状态备份和故障恢复策略实现的.当故障发生后,系统根据预先定义的。
