李建中：大数据计算基本概念研究问题及部分解
作者：机房360出处：论坛2012-11-30 22:14
2012.11.30Hadoop与大数据技术大会(下午)
2012.11.30Hadoop与大数据技术大会(下午)
主持人：各位领导各位来宾下午好!欢迎大家参加Hadoop与大数据技术大会。我是本次大会的程序委员会主席之一，CSDN程序员杂志的主编刘江。首先我介绍一下这次大会是由中国计算机学会主办的、CCF专业委员会承办的大会。除了今天的全体会议之外，明天还有四个分论坛，希望大家不要错过。我们还有官方微博，如果有相关大方的发布信息可以从这里获取。另外微博评论注意加HBTC四个字母。
今天下午有来自各机构、公司的专家来分享技术。首先有请中国计算机学会大数据专家委员会副主席哈尔滨工业大学教授李建中老师为我们演讲，《大数据计算基本概念研究问题和部分解》。
李建中：非常高兴有机会和大家交流一下对大数据的理解。HIT是哈尔滨工业大学的缩写，所以我的理解可能和工业界有一点点的不同，请看一下我们学院式的对大数据的研究有什么样的看法。我讲三个问题：
第一，大数据的基本概念。
第二，大数据计算机其挑战。
第三，研究问题与部分解。
第一，大数据的基本概念。什么是大数据，实际上我的报告讲了很多了，为什么叫做描述?因为大数据实际上是结合了不可定义的概念，大是相对的，是相对目前的及拴系统计算能力来说的，今天的大数据明天就不是大数据，大数据有的人说三个V，有的人说四个V，V我也不详细说了。所以说，大数据存在已久。有一个会议叫SSDB是1983年创建的一个会议，这里面的论文就是在研究大数据，这个会议到现在已经有29年的历史了，现在为什么谈起来大数据呢?因为个时候大数据还没有那么普遍，涉及的领域很少，参加这方面研究的人也很有限，所以跟现在不同。现在的大数据和当时研究的不同主要有两点。
李建中CCF大数据专家委员会副主任哈工大教授
第一，大数据达到了无处不在的程度。因特网有很多的大数据，在科学研究领域、医疗领域、商业领域、制造业、智慧城市都有大量的数据。全世界的感知数据增长率是每年58%，全世界拥有的存储能力或者是存储总量的增长率是每年只有40%。到2007年是一个里程碑，到2007年全世界的感知数据已经超过了全世界所拥有的存储器的容量。到2010年的时候，全世界的感知数据是1.25千万PB，2011年产生的感知数据已经二倍于我们人类所拥有的存储器的容量。所以，我们可以得到这样的结论，大数据几乎无处不在，数据量远远超出了现有的存储能力。
第二，大数据计算及其挑战。
大数据的输入是大数据D，问题的解是f(D)。我们通常讲的时候总是讲查询、挖掘、分析，实际上已经远远地超出了这个范围。大数据是一个多学科大范围的研究领域，涉及到很多的学科。比如说在生物学、宇航学等各种领域里面都有它非常复杂的大数据的计算问题，但我们没有考虑到。大数据计算问题的空间有多大?可以把在大数据方面的活动区分成这样五个方面，一个是大数据的获取、一个是大数据的传输、一个是大数据的存储、一个是大数据的质量管理。最终，要支持大数据的问题求解。所有的五个阶段里面的问题集中起来，称之为大数据计算问题的空间。我们把求解这个空间里面的每一个问题的过程叫做大数据计算。对每个问题要研究什么呢?要研究它的可计算性、计算复杂性和求解算法。现在我们面临的挑战是四个方面。
第一，如何把现有的计算理论、现有的算法、设计方法和现有的计算系统scale to up。第二，usability的问题。如果大数据里面充满了错误，我们计算在好也不会得出正确的结论。第三，privacy的问题，如何在最大化确保privacy。第四，交叉学科的问题，如何实现多学科交叉，面临和解决大数据的领域问题，各个学科里面的大数据由于专业不同又没有能力处理这样大的数据，如何把多个学科交叉起来，然后来解决问题。所以我们面临的挑战是四个挑战。实际上大对计算的影响力是非常大的。我们在中型计算机上和64个节点的集群上做了两组实验，就在数据库里面的算法和数据苦里面的算法进行了计算。我们是用了1T到10T 的数据，这样的执行时间是从68个小时到89个小时。所以，大数据项我们提出了很多的挑战，同时现有的方法和技术已经不能有效的支持大数据计算了。
第三，研究问题与部分解。
现在考虑两个基础方面的、共性的研究问题。第一个问题是大数据的计算复杂性问题。大数据的计算复杂性测度，除了时间复杂性以外还要考虑能量复杂性。云计算出来之后或者是集群技术出来之后，能量测度复杂性非常高，我们学校集群的电费就是1000多万，所以能量的问题我们不得不考虑。这样，就要在这两个测度下来考虑。时间复杂性的问题上要充分考虑问题的复杂性分类。传统的复杂性理论是把问题分成P类和NP类。现在在P类问题里，数据量输入非常大的时候，N方算法就已经不合适了。甚至N算法都不合适了。在传统的理论里，我们认为多项式算法是可以接受的。的数据的前提下不一定合适，大数据问题的难解性的标准是什么可以重新考虑。第二是数据难解问题的判断性问题，这通常是用了一个归结的方法。假定线性和亚线性是我们能容忍的算法，现在考虑用归的办法来判定一个问题是不是难解的，我们用归就需要来解决多项线性和亚线性归的问题，这个做起来很困难，如果这条路走不通就需要探索新的路。
很多难解的问题怎么办?我们就想做算法，每个问题的复杂性我们要知道是不是难解的，这是需要解决的问题，同时难解之后我们要判定是不是有线性或者是亚线性的算法，是不是可近似性的。
对能量复杂性来说，我们首先要研究能量复杂性的模型，看看能量是怎么样来消耗能量，然后我们来研究和时间复杂性相似的问题，这是最基本的基础理论问题，现在我们正在做这方面的工作。另外一个问题是大数据的计算的算法设计的新方法，我们需要有新的思维，不然的话是很难取得突破性的进展的。现在各个企业和厂家都在宣布说我有什么什么工具，你有什么什么工具。但试想一下如果一个大数据问题到你那算的话都是N的平方算法的话是很难解决的。算法都没有解决工具何以生成?所以算法是我们面临的很大的问题。
现在多项式算法如果指数太多的话，是平方级以上对P数量级或者是E数量级的数据就不可能计算了，所以现在要有新的理念，要追求线性和亚线性计算的算法，这里面是n，logn、loglogn的算法了。排序问题有没有这样的算法?对基于比较的排序来说，nlogn也是没有算法的，但像基数排序的不依赖于比较的是有线性算法的，让它具有更一般性适合大数据的处理有很多的问题，很多的问题如果不具有线性和亚线性算法的时候，我们要考虑设计的新方法了。我们首先叫做doing more with less，我能不能用一部分的数据来解决整个数
据的问题。在这么多年的工作中，试着想了几个方法，一个是基于压缩的大数据计算方法。压缩大家都知道，可是有一个很大的问题是，传统的压缩方法在计算之前需要把数据反压缩过来，可是我们追求的是无解压的计算，压缩小了就在小的上面计算，这样才能达到提高性能的目的。因此有两个问题需要考虑，一个是数据压缩方法，一个是无解压的计算问题。
第二个问题是无解压计算的问题，有了压缩的方法在这上面怎么计算呢?有很多的方法，有兴趣的老师和同学可以去看一下相关的文章。第二个方法是适用的是基于抽样的大数据的e、dβ的近似计算方法。因此就要解决三个问题，一个是抽样方法的选择问题，不同的数据不同数据的特点可能需要的抽样方法是不一样的，对不同的应用抽样的方法也是不一样的，甚至我们已经遇到了所有的抽样方法都不合适的数据怎么办?我们还要和数学家共同商量，搞出新的方法。第二个方法是估计器的问题，我们要做一个估计器，能够证明它(e，β)的估计器，那么我们怎么能给定了以后却确定样本的大小，希望用最小的样本来计算问题。这些问题如何解决在下面的文章里都有介绍。
第三个问题是增量式大数据计算方法。很多的数据库是动态变化的，还有一些数据像传感器网络的数据、流数据都是在不断地增加和变化的。现在就考虑有两种增量方法，一个是有大数据D，先把数据D小部分算完了，之后再加上( e，β)，我的计算和原始的没有关系，只和(e，β)有关。这个大数据的计算问题就变成了小数据的计算问题。还有一些流数据的增量式的算法就有意义了，总是要保证后面增量的计算和前面没有关系，我就把大数据的计算问题变成了小数据的计算问题，这里面有一些方法，这些文章都很好找的。
最后一个现在正在试的方法是主数据分析的方法。大数据的一个特点是价值很大可是价值密度很低。现在把有价值的数据叫做主数据，现在我们有两种主数据，一般是绝对主数据，这个数据相对这个领域的有价值数据是什么?我们要把它找到。另外一个是相对主数据，这对计算来说是有用的，我们怎么把它找到，现在正在做工作，明年年初会出来结果。
这是在一类方法学上。下面是云计算环境下的并行算法的设计方法。并行算法有很多，可是云计算环境和传统的并行计算环境是不一样的，所以要有新的设计方法。第一个问题是，云环境下大数据怎么分布存储，数据怎么在各个节点上分布才能有效地支持大数据计算，这是需要解决的问题，我们提过一些方法。第二个是云计算环境下的低通讯量的并行算法。因为云计算的通信是瓶颈的问题，如果通信量非常大云计算是不灵的。现在我们追求的是低通信量的并行算法的设计。还有是能量受限的大数据计算方法，给定一个能力β，这个计算问题要判定一下在β的能量下能不能算出来，能算出来怎么算?我我我这是算法方面要考虑的问题。
下面我简单介绍六个方面的关键技术研究。
第一是大数据获取，有两个方面，首先是基于互联网的大数据获取的理论和方法，在数据库研究里面有了很多的相应的技术。但这些技术不适合大数据，数据量非常大的时候就有问题，怎么把这些问题scale to大数据上。第二个是基于传感网的大数据的获取的方法。因为大数据的数据已经达到了非常大的地步，所以我们涉及到新的数据获取的问题，传统的传感器的节点已经不灵了，我们还要研究信号处理的算法，还要研究物理世界信息准确的获取
的方法。现在的获取方法有很大的问题，一个这样的物理世界的信息是这样的，可是我们可能会变成这个样子。物理世界不可能再现，我们作出的结论也不可能对。今年我们做了两个这样的结果要发表出来。
在大数据的传输上，一个是大数据实时传输的理论和算法，有一些结果。第一是大数据的安全可靠传输的理论和算法。第二，大数据传输的调度和控制的问题。第三，在传输的过程中继续进行计算。这样通信量很少。第三是大数据的存储问题。过去的数据中心有很多，数据有一个数据中心，当我用的时候在服务器上让数据流到我这里来。在网上传输TP级数据的话，网络是根本不可能的。现在我们希望数据中心既能存储数据又能支持大数据计算，算法也在那里。用户提交的是计算请求，计算完之后把结果传输给我，有一系列的研究需要说。
第三个问题是大数据可用性的研究理论和技术。目前的大数据的基础设施基本上都是考虑关注量的管理忽略了质的管理。所以造成了很大的问题，数据质量问题已经严重地危害到了国际信息社会，有很多这样的例子。在中国虽然没有报道但也有很多流露。所以说这个问题是很严重的。所以，今年正在做的973项目就是在解决这个问题，把数据的可用性定义为数据一致性等五个指标在信息系统中被满足的程度。要研究的三个关键科学问题是量质融合管理、劣质容忍原理、深度演化机理。研究的是如何既管量又管质。之后要考虑知识，在弱可用信息上如何解决知识的获取、知识的推理问题，这个项目大概有这么五个课题还有一个应用课题。这样来解决一系列的问题，这样项目目前在进行中已经取得了一些结果再一个是大数据问题求解。第一是共性的大数据问题的求解的理论和算法，一个是面向应用的。
共性方面的问题是计算机界能独立完成的，应用方面需要和应用领域结合起来才能完成。共性方面的问题实际上并不是很多，是结构化和半结构化大型数据的理论和算法，现在都有一些不是大数据算法。这些算法怎么样能够把它提升到解决大数据问题上，涉及到需要新的算法，TB级以上的数据如何做。再有，图数据安装，图数据是复杂的数据，现在Facebook 也好归根到底都是图的问题。我们需要研究的是大型图数据的计算的理论和算法，包括确定图和不确定图。
还有一个是非结构化的大数据的计算的理论和算法。同样的问题有很多，那么算法怎么做，归根到底还是算法的问题。再一个是面向应用的大数据求解了，是生物信息领域、天文学领域等计算，这些计算计算机科学家必须和那个领域的专家结合起来，才能把它解决出来，所以这对我们来说是一个很大的挑战。
第二个是Privacy的问题了，它有可能成为大数据计算的很大的障碍。我们遇到的问题是他有数据不给你因为保密，可是我们想算又没有数据，这里的问题矛盾非常大。所以这个问题是在这一段时间内很难解决的问题，所以Pricacy并不是本身的问题。
我有两个困惑的问题，第一是大数据的硬件平台，我的问题是云计算是大数据计算的最好平台吗?它有两个极限，一个是通讯瓶颈问题，一个是能量消耗问题，这两个问题是非常严重的。现在云计算炒得很厉害，这不是科学技术模式而是一个商业模式，本质上就是一个集群，它的两个局限性使我们真的做一些复杂问题处理的时候会发现做那样的并行算法几乎
是不可能的，通讯量一到这个问题就很难了。所以我们就想是不是需要考虑突破云计算束缚的、适合大数据计算的新型的计算系统。
第二个，我们是不是需要新的程序设备模型。很多的问题并不是能用迭代来做的，很多的问题需要更加适合的模型。怎么样考虑这个问题，是不是它就到头了?第二个问题，是不是要新的软件开发工具?比如说在集群上设计一个并行算法的时候，一个调试工具都没有，其他的工具呢?就更少了，我们是不是需要?
第三，我们是不是需要新的软件设计方法学，在云计算环境下，软件设计和迁移的方法一样吗?还会不会有其他的问题?谢谢大家!
网易科技讯 11月30日消息，由CSDN主办的Hadoop与大数据技术大会在北京新云南皇冠假日酒店开幕。网易科技直播报道。
以下为CCF大数据专家委员会副主任，哈尔滨工业大学教授李建中演讲，主题为“大数据计算：基本概念、研究问题和部分解”。
以下为现场实录：
学院式研究和工业界会有不同。以下将主要从三方面来分享我们对大数据的研究：第一，大数据的基本概念；第二，大数据计算机其挑战；第三，研究问题与部分解。
“新旧”大数据的区别
对于大数据，前面有很多的报告在说。但在描述方面，大是相对的，是相对目前系统计算能力来说的，今天的大数据明天也许就不是大数据，从这个层面看，大数据存在已久。有一个会议叫SSDB，1983年创建的一个会议，这里面的论文就是在研究大数据，这个会议到现在已经有29年的历史了，但是那个时候大数据显然还没有那么普遍，涉及的领域很少，参加这方面研究的人也很有限，跟现在不同。现在的大数据和当时研究的不同主要有两点。
第一，大数据达到了无处不在的程度。互联网有很多的大数据，在科学研究领域、医疗领域、商业领域、制造业、智慧城市都有大量的数据。全世界的感知数据增长率是每年58%，全世界拥有的存储能力或者是存储总量的增长率是每年40%。2007年是一个里程碑，到2007年全世界的感知数据已经超过了全世界所拥有的存储器的容量。2010年，全世界的感知数据是1.25千万PB，2011年产生的感知数据已经二倍于我们人类所拥有的存储器的容量。所以，我们可以得到这样的结论，大数据几乎无处不在，数据量远远超出了现有的存储能力。
第二，大数据计算及其挑战。大数据通常讲的时候总是讲查询、挖掘、分析，实际上已经远远地超出了这个范围。大数据是一个多学科大范围的研究领域，涉及到很多的学科。比如说在生物学、宇航学等各种领域里面都有它非常复杂的大数据的计算问题，但大家没有考虑到。大数据计算问题的空间有多大？可以把在大数据方面的活动区分成五个方面，大数据的获取、传输、存储、质量管理、支持求解等方面。所有的五个阶段里面的问题集中起来，称之为大数据计算问题的空间。
研究大数据空间的四大挑战
我们把求解这个空间里面的每一个问题的过程叫做大数据计算。对每个问题要研究什么呢？要研究它的可计算性、计算复杂性和求解算法。现在我们面临的挑战是四个方面。
如何把现有的计算理论、现有的算法、设计方法和现有的计算系统扩展开来。
usability的问题。如果大数据里面充满了错误，我们计算在好也不会得出正确的结论。
privacy的问题，如何在最大化确保privacy。
交叉学科的问题，如何实现多学科交叉，面临和解决大数据的领域问题，各个学科里面的大数据由于专业不同又没有能力处理这样大的数据，如何把多个学科交叉起来，然后来解决问题。
这四个挑战实际上大对计算的影响力是非常大的。我们在中型计算机上和64个节点的集群上做了两组实验，用了1T到10T的数据，就在数据库里面的算法和数据库里面的算法进行了计算，而结果极具代表性。大数据提出了很多的挑战，但是显然现有的方法和技术已经不能有效的支持大数据计算了。
大数据的研究问题
现在考虑两个基础方面的、共性的研究问题。
第一个问题是大数据的计算复杂性问题。大数据的计算复杂性测度，除了时间复杂性以外还要考虑能量复杂性。云计算出来之后或者是集群技术出来之后，能量测度复杂性非常高，我们学校集群的电费就是1000多万，所以能量的问题我们不得不考虑。这样，就要在这两个测度下来考虑。时间复杂性的问题上要充分考虑问题的复杂性分类。传统的复杂性理论是把问题分成P类和NP类。现在在P类问题里，数据量输入非常大的时候，N方算法就已经不合适了。甚至N算法都不合适了。在传统的理论里，我们认为多项式算法是可以接受的。
第二是数据难解问题的判断性问题，这通常是用了一个归结的方法。假定线性和亚线性是我们能容忍的算法，现在考虑用这样的办法来判定一个问题是不是难解的，如果做起来很
困难，那么这条路走不通就需要探索新的路。
很多难解的问题怎么办？需要做算法，每个问题的复杂性我们需要有预估，并进行判定是不是有线性或者是亚线性的算法，是不是可近似性的。
对能量复杂性来说，我们首先要研究能量复杂性的模型，看看能量是怎么消耗的，然后研究和时间复杂性相似的问题，这是最基本的基础理论问题，现在我们正在做这方面的工作。另外一个问题是大数据的计算的算法设计的新方法，则需要有新的思维，不然的话是很难取得突破性的进展的。现在各个企业和厂家都在宣布在做工具。但试想一下如果一个大数据问题算法非常复杂难以实现，那只能从算法上改进。
现在多项式算法如果指数太多的话，是平方级以上对P数量级或者是E数量级的数据就不可能计算了，所以现在要有新的理念，要追求线性和亚线性计算的算法，这里面是n、logn、loglogn的算法了。排序问题有没有这样的算法？对基于比较的排序来说，nlogn也是没有算法的，但像基数排序的不依赖于比较的是有线性算法的，让它具有更一般性适合大数据的处理有很多的问题，很多的问题如果不具有线性和亚线性算法的时候，就要考虑设计的新方法了。但有几个问题需要考虑，一个是数据压缩方法，一个是无解压的计算问题，还有增量式大数据计算方法。
很多的数据库是动态变化的，还有一些数据像传感器网络的数据、流数据都是在不断地增加和变化的。现在就考虑有两种增量方法，一个是有大数据D，先把数据D小部分算完了，之后再加上（e，β），我的计算和原始的没有关系，只和（e，β）有关。这个大数据的计算问题就变成了小数据的计算问题。还有一些流数据的增量式的算法就有意义了，总是要保证后面增量的计算和前面没有关系，我就把大数据的计算问题变成了小数据的计算问题，这里面有一些方法，这些文章很好找。
而我们现在正在试的方法是主数据分析的方法。大数据的一个特点是价值很大可是价值密度很低。现在把有价值的数据叫做主数据，现在有两种主数据，一般是绝对主数据，这个数据相对这个领域的有价值数据是什么？需要把它找到。另外一个是相对主数据，这对计算来说是有用的，现在正在做工作，明年年初会出来结果。
六方面关键技术研究
下面简单介绍六个方面的关键技术研究。
第一是大数据获取。首先是基于互联网的大数据获取的理论和方法，其次是基于传感网的大数据的获取的方法。因为大数据的数据已经达到了非常大的地步，所以涉及到新的数据获取的问题，传统的传感器的节点已经不灵了，还要研究信号处理的算法，还要研究物理世界信息准确的获取的方法。
第二是大数据的传输。第一是大数据的安全可靠传输的理论和算法；第二，大数据传输的调度和控制的问题；第三，在传输的过程中继续进行计算。现在我们希望数据中心既能存储数据又能支持大数据计算，算法也在那里。用户提交的是计算请求，计算完之后把结果传输给我，有一系列的研究会做说明。
第三是大数据可用性的研究理论和技术。目前的大数据的基础设施基本上都是考虑关注量的管理忽略了质的管理。所以造成了很大的问题，数据质量问题已经严重地危害到了国际信息社会，有很多这样的例子。所以，今年正在做的973项目就是在解决这个问题，把数据的可用性定义为数据一致性等五个指标在信息系统中被满足的程度。要研究的三个关键科学问题是量质融合管理、劣质容忍原理、深度演化机理。研究的是如何既管量又管质。之后
要考虑知识，在弱可用信息上如何解决知识的获取、知识的推理问题，这个项目大概有这么五个课题还有一个应用课题。这样来解决一系列的问题。
第四是共性方面的问题。在结构化和半结构化大型数据的理论和算法中有一些不是大数据算法。这些算法怎么样能够把它提升到解决大数据问题上，涉及到需要新的算法，TB级以上的数据如何做等。此外，图数据安装，图数据是复杂的数据，现在Facebook也好归根到底都是图的问题。需要研究的是大型图数据的计算的理论和算法，包括确定图和不确定图。
第五是非结构化的大数据的计算的理论和算法。需要面向应用的大数据求解，在生物信息领域、天文学领域等计算，这些计算计算机科学家必须和那个领域的专家结合起来，才能把它解决出来。
第六是Privacy的问题，它有可能成为大数据计算的很大的障碍。因为矛盾非常大，所以需要解决。
关于云和大数据的三个困惑
目前，我有三个困惑的问题：第一是大数据的硬件平台，云计算是大数据计算的最好平台吗？它有两个极限，一个是通讯瓶颈问题，一个是能量消耗问题，这两个问题是非常严重的。云计算不是科学技术模式而是一个商业模式，本质上就是一个集群，它的两个局限性使我们真的做一些复杂问题处理的时候会发现做那样的并行算法几乎是不可能的。所以是不是需要考虑突破云计算束缚的、适合大数据计算的新型的计算系统。
第二个是否需要新的程序设备模型？因为很多的问题并不是能用MapReduce做迭代可以完成的，很多的问题需要更加适合的模型，所以是否要新的软件开发工具？比如说在集群上设计一个并行算法的时候，一个调试工具都没有，其他的工具呢？就更少了，我们是不是需要？
第三，我们是不是需要新的软件设计方法学，在云计算环境下，软件设计和迁移的方法一样吗？还会不会有其他的问题？
大数据离线计算平台流式Shuffle服务
?背景 ?架构 ?关键技术?收益与总结?下一步计划
?背景 ?架构 ?关键技术?收益与总结?下一步计划
背景-百度私有云 FPGA GPU 整机柜 Machine Management 环境初始化机器故障自动化 机器自动流转 Container 仲裁器 State Management 调度算法 队列/优先级资源位移 MetaServer NameSpace StateCenter Iterative RealTime Batch NFS Table Ojbect 搜索金融糯米AI 开放云ADU 服务托管研发效率相关工具 预算 交付管理 结算 高精硬件 集群/机器管理 集群操作系统-Matrix 统一资源调度-Normandy 分布式文件系统-AFS 分布式计算 分布式存储 产品生态
背景-百度大数据计算平台 C++ Python Java Simplified Unified API TM DStream DCE (MR/DAG)MPI/E LF Spark Normandy Matrix IDC 计算引擎 资源调度资源管理机器资源 API 层 ……
2014 2007 百度DAG 引擎上线 2006 2004 MapReduce 论文发表 Hadoop 开源 百度MR 上线 基于Hadoop 0.15.1 2011 百度MR 单集群规模超过5000台 2013 百度MR 单集群规模13000台 2015 内存流式Shuffle 上线 2014 百度统一计算表示层发布 背景-百度大数据离线计算平台发展历程
计算平台 概要设计说明书 作者：日期：2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究）
文件修改记录
目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图..................................
05分布式存储架构 5.1 HDFS分布式文件系统 5.2HBase存储架构 5.3 二次索引表机制
数据存储系统 包括数据采集层（系统日志、网络爬虫、无线传感器网络、物联网、以及各种数据源）；数据清洗、抽取与建模（将各种类型的结构化、非结构化、异构数据转化为标准存储格式数据，并定义数据属性及值域）；数据存储架构（集中式/分布式文件系统、关系型数据库/分布式数据库、行存储数据结构/列存储数据结构，键值对结构，哈希表（Hash Table ）检索）；数据统一接口等。 数据采集与建模 分布式文件系统数据存储系统 分布式数据库/数据仓库
数据存储架构 在存储结构中：数据库提供了数据的逻辑存储结构；分布式文件系统提供了数据的物理存储结构。 Data Acquisition / Extraction / Transforming / Modeling Distributed File Systems (HDFS / GFS / Colossus) NoSQL Database (HBase / BigTable / MongoDB / Neo4j) Unified Data Access Interface
逻辑存储结构Logic Storage Structure 也称为数据的逻辑结构。数据存储的逻辑模型（抽象模型），即纸面上人们设计的存储模式或数据结构，比如矩阵（matrix）、树（tree）、数据库表单（form）等。主要用于表达数据属性及数据元素相互间的关联关系。
物理存储结构Physical Storage Structure 也称为数据的存储结构。数据存储的物理模型，即在物理存储介质（如磁盘）上数据实际的排列方式。数据的存储结构主要有：顺序存储、链式存储、索引存储和散列存储。 1)顺序存储：把逻辑上相邻的元素存储在物理位置上也相邻的存储单元里，元素之间的关系由存储单元的邻接关系来体现。 2)链接存储：不要求逻辑上相邻的元素在物理位置上也相邻，借助指示元素存储地址的指针表示元素之间的逻辑关系。 3)索引存储：在存储元素信息的同时，还建立附加的索引表。索引表中的每一项称为索引项，索引项的一般形式是：（关键字，地址）。 4)散列存储：根据元素的关键字直接计算出该元素的存储地址，又称为Hash存储。
大数据技术原理与应用-林子雨版-课后习 题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信
息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。
李建中：大数据计算基本概念研究问题及部分解 作者：机房360出处：论坛2012-11-30 22:14 2012.11.30Hadoop与大数据技术大会(下午) 2012.11.30Hadoop与大数据技术大会(下午) 主持人：各位领导各位来宾下午好!欢迎大家参加Hadoop与大数据技术大会。我是本次大会的程序委员会主席之一，CSDN程序员杂志的主编刘江。首先我介绍一下这次大会是由中国计算机学会主办的、CCF专业委员会承办的大会。除了今天的全体会议之外，明天还有四个分论坛，希望大家不要错过。我们还有官方微博，如果有相关大方的发布信息可以从这里获取。另外微博评论注意加HBTC四个字母。 今天下午有来自各机构、公司的专家来分享技术。首先有请中国计算机学会大数据专家委员会副主席哈尔滨工业大学教授李建中老师为我们演讲，《大数据计算基本概念研究问题和部分解》。 李建中：非常高兴有机会和大家交流一下对大数据的理解。HIT是哈尔滨工业大学的缩写，所以我的理解可能和工业界有一点点的不同，请看一下我们学院式的对大数据的研究有什么样的看法。我讲三个问题： 第一，大数据的基本概念。 第二，大数据计算机其挑战。 第三，研究问题与部分解。 第一，大数据的基本概念。什么是大数据，实际上我的报告讲了很多了，为什么叫做描述?因为大数据实际上是结合了不可定义的概念，大是相对的，是相对目前的及拴系统计算能力来说的，今天的大数据明天就不是大数据，大数据有的人说三个V，有的人说四个V，V我也不详细说了。所以说，大数据存在已久。有一个会议叫SSDB是1983年创建的一个会议，这里面的论文就是在研究大数据，这个会议到现在已经有29年的历史了，现在为什么谈起来大数据呢?因为个时候大数据还没有那么普遍，涉及的领域很少，参加这方面研究的人也很有限，所以跟现在不同。现在的大数据和当时研究的不同主要有两点。
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
1.(1)什么是SOA？SOA有什么特点?请例举几种SOA的实例； (2)什么是Web Service？简要说明Web Services中Service的含义。 答：（1）SOA的定义:SOA(service-oriented architecture)被设计为提供这样的灵活性：将业务过程以及下层的IT基础设施作为一个安全的、标准化的组件（即服务）,这些组件可以通过被重用的方式来适应不断变化的业务优先级。 SOA的特点有： 1)服务是自包含和模块化的 2)服务支持互操作 3)服务是松耦合的 4)服务是位置透明的 5)服务是由构件组成的合成模块 SOA的实例： CORBA（Common Object Request Broker Architecture,公共对象请求代理体系结构） DCOM（Distributed Component Object Model分布式组件对象模型）J2EE WWW (2）Web Service是一种用URI标识的软件应用，它的接口和绑定可以通过XML 文档定义、描述和发现。Web Service支持通过基于Internet的协议、并利用基于XML的信息与其他软件进行直接的交互。 Service的含义：应用程序或者业务的不同功能单元，这些功能单元作为一个独立的实例存在，并且通过松耦合、基于消息的通信模式和其他应用程序或者服务进行交互。 2.(1)请给出Web Services的体系结构图（包含角色和行为的三角图），并简述各角色和行为的含义。 (2)下图是Web Services的协议栈，将其补充完整；并简述栈中每一层的作用。 （1）
角色： 服务需求者（service requester）：一个应用程序、软件模块或者需要服务的另一个服务。 服务提供者（service provider）：接受和执行服务使用者的请求的可寻址的网络实体。 服务中介（service broker）：包含一个可用服务库并且为感兴趣的服务使用者提供服务提供者接口的查找。 Publish发布:一个服务的描述只有被发布，该服务才可以被服务请求者发现和调用。使用的协议是WSDL。 Search查找:服务请求者通过向服务注册中心查询来定位符合自己要求的服务。使用的协议是UDDI。 Bind Invoke绑定和调用:服务请求者根据服务注册中心提供的服务描述信息来调用服务。使用的协议是SOAP。 (2) Web Service协议栈中各层的作用： Discovery：服务发现层:服务请求者查询可以调用的服务。 Composition：服务组合层:组合Web服务，从而可以形成新的Web服务。Service Description：服务描述层:为调用服务提供了具体的方法。包含服务的接口和实现细节。 XML Messaging：XML信息层:用于调用服务时传送信息。 Network：网络传输层:采用广泛使用的协议传输消息，并且能够顺利通过代理防火墙。 3.(1)什么是WSDL？WSDL定义了service的哪些个方面？分别对应于WSDL中的哪些元素？WSDL文档被分为哪两种类型？ (2)请说明binding元素与portType之间的关系，为什么说 “Binding element is generic”？ （1）WSDL一种用来定义网络服务的XML格式，该XML格式将网络服务定义为一组在信息的层次上操作的终端节点，这些信息包含基于文档的信息和基于过程的信息。 WSDL定义了Service的以下三个方面： a.服务是什么（服务接口）。对应着portType与message和type元素。 b.访问规格（怎样使用服务）。对应着binding元素。
第一章云计算与大数据基础 1.在信息产业的发展历程中。硬件驱动力，网络驱动力，作为两个重要的内在动力在不同的时期起着重要的作用 6．MapReduce思想来源LISP语言 7.按照资源封装层次，云计算分为 Iaas paas saas三种 8. 教材P2 1.1.2 10. 教材P8 1.2.2 11. 教材P10 1.2.3 第二章云计算与大数据相关技术 1.一致性hash算法原理： 哈希算法是一种从稀疏值到紧密值范围的映射方法，在存储和计算定位时可以被看做是一种路由算法。通过这种路与哦算法文件块能被唯一的定位到一个节点的位置。传统的hash 算法容错性和扩展性都不好，无法有效的适应面向数据系统节点的动态变化。意思就是当集群需要增加节点，传统的hash算法不容易检测到新增加的节点，此为扩展性不好，而一致性hash算法增加一个节点只会影响增加的这个节点到前一个节点之间的数据。容错性就是如果不幸一个机器C宕机了,那么机器B和C之间的数据都会被D执行，那么受影响的数据只是机器B和C之间的数据。当然，容错性和扩展性对于节点数较多的集群是比较有意义的，对于节点较少的集群似乎这两个特性并没有什么诱惑力。 一致性hash的实际目的就是解决节点频繁变化时的任务分配问题，一致性hash将整个hash值空间组织成一个虚拟圆环，我们这里假设某hash函数H值空间为0~(2^32-1),即32位无符号整形。下面简述一下一致性hash的原理： 这是一致性hash的整个值空间0~(2^32-1)
下一步将各个服务器使用Hash进行一个哈希，具体可以选择服务器的ip或主机名作为关键字进行哈希，这样每台机器就能确定其在哈希环上的位置，假设使用四台机器进行hash： 将数据key使用相同的函数Hash计算出哈希值，并确定此数据在环上的位置，从此位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器。 例如我们有Object A、Object B、Object C、Object D四个数据对象，经过哈希计算后，在环空间上的位置如下： 根据一致性哈希算法，数据A会被定为到Node A上，B被定为到Node B上，C被定为到Node C上，D被定为到Node D上 下面我们看看当集群机器比较少的情况 例如系统中只有两台服务器，其环分布如下，
【最新整理，下载后即可编辑】 第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据平台的软件有哪些？ 查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC 结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix最值得关注的一些特性有：?嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API?可以通过多部行键或是键/值单元对列进行建模?完善的查询支持，可以使用多个谓词以及优化的扫描键?DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列?版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式?DML支持：用于逐行插入的UPSERT V ALUES、用于相同或不同表之间大量数据传输的UPSERT ?SELECT、用于删除行的DELETE?通过客户端的批处理实现的有限的事务支持?单表——还没有连接，同时二级索引也在开发当中?紧跟ANSI SQL标准二、Stinger 简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要
优点包括：?让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive 的样式系统更符合SQL模型。?优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。?在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。?引入了新的运行时框架——Tez，旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。三、Presto简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于2012 年秋季开始开发，目前该项目已经在超过1000 名Facebook 雇员中使用，运行超过30000 个查询，每日数据在1PB 级别。Facebook 称Presto 的性能比诸如Hive 和Map*Reduce 要好上10 倍有多。Presto 当前支持ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。四、Shark简介：Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD 操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark
云计算大数据试题 一、单选题（30%） 1、我公司大数据对外服务品牌是下面哪一项（A） A.智慧洞察 B.精确营销 C.智慧数据 D.和数据 答案：A 2、目前中国移动已经开展的大数据对外服务不包括下面的哪一项（D） A.旅游景区客源分析 B.交通OD系统 C.商铺选址 D.互联网广告营销 答案：D 3、大数据金融征信是对外服务一个重要的领域，下面说法错误的是（C） A.要严格保护用户信息安全 B.数据结果脱敏加工 C.可以输出用户的位置信息 D.必须获得用户授权 答案：C 4、大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行（B）。 A. 数据信息 B. 专业化处理 C.速度处理 D. 内容处理 答案：B 5、与运营商数据相比，互联网数据有以下几点局限性，除了（ D ）。 A. 数据局部性 B. 数据封闭性 C. 数据割裂性 D.数据全面性 答案：D 6、推荐系统为客户推荐商品,自动完成个性化选择商品的过程,满足客户的个性化需求,推荐基于网站最热卖商品、客户所处城市、（ D ），推测客户将来可能的购买行为。 A.客户的朋友 B.客户的个人信息 C.客户的兴趣爱好 D. 客户过去的购买行为和购买记录 答案：D 7、社交网络产生了海量用户以及实时和完整的数据，同时社交网络也记录了用户群体的（ C ），通过深入挖掘这些数据来了解用户，然后将这些分析后的数据信息推给需要的品牌商家或是微博营销公司。 A.地址 B.行为 C.情绪 D.来源 答案：C 8、在云生态环境中，用户需求相当于（ D ），云数据中心相当于（ C ），云服务相当于（ B ）。 A. 降水 B. 水滴 C. 水库 D. 阳光 答案：D\C\B
. .. . CC 云数据采集中心及大数据计算平台 建设方案 中蓝信息技术有限责任公司
. .. . 目录 1 引言 (5) 1.1 项目背景 (5) 1.2 项目目标 (5) 1.3 建设原则 (6) 1.4 参考规 (7) 1.5 名词解释 (9) 2 云数据采集中心 (10) 2.1 需求概述 (10) 2.2 总体设计 (13) 2.3 核心技术及功能 (18) 2.3.1 分布式文件存储技术 (18) 2.3.2 分布式并行计算技术 (27) 2.3.3 分布式数据库技术 (31) 2.3.4 负载均衡 (34) 2.3.5 数据采集 (39) 2.3.6 开放平台 (45) 2.4 部署方案 (48) 2.5 实施计划 (50) 3 大数据计算平台 (52)
. .. . 3.1 需求概述 (52) 3.2 总体设计 (52) 3.3 应用建设 (57) 3.3.1 收视率统计 (57) 3.3.2 智能推荐 (60) 3.3.3 拍立购 (63) 3.4 部署方案 (69) 3.5 实施计划 (72) 4 性能及成本分析 (73) 4.1 运营商网络性能分析 (73) 4.2 服务器网卡性能分析 (73) 4.2 服务器存性能分析 (73) 4.3 服务器硬盘性能分析 (74) 4.4 服务器 RAID 模式分析 (74) 4.5D2B 性能分析 (75) 4.4DMQ 平台性能分析 (75) 5 存储空间规划表 (76) 6 机房选型 (77) 7 安全设计 (78) 8 风险分析 (81)
1 引言 1.1 项目背景 根据 CC 智能战略的规划：做强终端、云平台建设、大数据商业模式，CC 正 迈向大数据时代，当前正面向所有智能终端提供优质的服务，同时通过终端传感器或数据采集服务能够获取海量的数据，并且数据量会以TB 级剧增。因此CC 迫切需要建设一套高性能、高安全性、高可靠性，可扩展性的云数据采集中心，并搭建一个数据中心支撑平台，以满足当今高速增长的数据存储、管理、计算的需求，同时便于将来拓展和进一步的改造。 目前 CC 数据中心是主要基于 CC 黑电、白电、浏览器等产品终端传感器 采集的海量文本、图片数据以及用户数据，为 CC 后续其他数据分析挖掘项目 提供数据支撑的信息平台。对应方针——终端容服务、云服务支撑与数据挖掘、个性化数据价值探索。 建立统一有效的云数据采集中心有利于 CC 大数据的管理，符合 CC 新的发展战略，CC 黑电和白电产品终端传感器采集的数据有用户行为的文本数据（log）、台标等图片数据以及自建的影视知识库的结构化数据、电商平台的海量镜像数据。 当 CC 的用户量和采集的数据量与日俱增的时候，数据中心必须能通过添加更多 服务节点来扩展性能和负载能力，保证高可扩展性和高可用性从而满足 CC 业务 发展的需要。 1.2 项目目标 搭建分布式存储平台（能够存储海量非结构化数据和结构化数据）、分布式并行计算平台等等，满足海量数据的采集、存储、计算的需要，平
中国科学:信息科学2015年第45卷第11期:1355–1369 https://www.doczj.com/doc/4b11982873.html, 大数据挖掘的粒计算理论与方法 梁吉业xy*,钱宇华xy,李德玉xy,胡清华z x山西大学计算智能与中文信息处理教育部重点实验室,太原030006 y山西大学计算机与信息技术学院,太原030006 z天津大学计算机科学与技术学院,天津300072 *通信作者.E-mail:ljy@https://www.doczj.com/doc/4b11982873.html, 收稿日期:2015–05–07;接受日期:2015–06–08;网络出版日期:2015–09–18 国家自然科学基金(批准号:61432011,U1435212,61322211)、国家重点基础研究发展计划(973计划)(批准号:2013CB329404)和教育部新世纪人才支持计划(批准号:NCET-12-1031)资助项目 摘要大数据往往呈现出大规模性、多模态性以及快速增长性等特征.粒计算是智能信息处理领域中大规模复杂问题求解的有效范式.从推动大数据挖掘研究角度,本文首先概要地讨论了大数据的特征对可计算性、有效性与高效性提出的3大挑战;其次,结合粒计算的思维模式特点,概述了已有研究成果,分析论述了以粒计算应对大数据挖掘挑战的可行性,认为粒计算有望为大数据挖掘提供一条极具前途的崭新途径;最后,对大数据挖掘的粒计算理论与方法中的若干科学问题进行了梳理与展望,以期抛引这一领域的学术思考与研究工作. 关键词大数据数据挖掘模式发现粒计算信息粒化多粒度 1引言 根据维基百科的定义,大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合.大数据=海量数据+复杂类型的数据.大数据通常来源于以互联网为载体的虚拟社会系统,或者来源于复杂的工业控制系统、物联网系统、经济与金融系统,现实社会的各种管理与监控系统,以及诸如空间探测、大气与地球科学、生物信息学等科学研究领域[1～3].2011年IDC公司发布的《数字宇宙研究报告》称:全球信息总量每两年就会增长一倍,2011年全球被创建和被复制的数据总量为1.8ZB.预计到2020年,全球将总共拥有35ZB的数据量.大数据在现代信息社会中的数据资源主体地位已成为学术界与企业界的共识.由于对经济活动与社会发展具有可预见的重要推动作用,大数据已经进入了世界主要经济体的战略研究计划.正如美国政府启动的“Big Data Research and Development Initiative”计划指出的“将大力推进大数据的收集、访问、组织和开发利用等相关技术的发展,提高从海量复杂的数据中提炼信息和获取知识的能力与水平”.从大数据中进行数据挖掘与知识发现是大数据应用的战略问题之一.
大数据相关理论和技术（6） 胡经国 八、大数据及大数据科学与技术问题 相关文献就“大数据及大数据科学与技术问题”进行了论述。现将其介绍于下，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改，并且添加了一些小标题，特此说明。 1、云计算形成的先决条件 信息技术从应用来看有一个信息流，即从获取、传输到计算、存储，到最后的使用。摩尔定律催生了微电子技术的快速发展。实际上是通过预测来进一步推动技术的变革。还有一个是吉尔德定律，讲的是主干网带宽每6个月增加1倍，每比特的费用将趋于零。 在计算和存储方面，在过去20多年里，计算速度和存储容量，由于微电子技术的发展，CPU的性能提高了3500倍，相应地内存和硬盘的价格下降了4.5万倍和360万倍。在带宽逐渐变得越来越廉价的时候，通讯带宽的发展远远超过摩尔定律的时候，单机就进入了网络时代，离线就进入了在线时代。这是一个非常大的变化。 2、互联网应用进入第二次价值挖掘 当我们上网获取信息资源的成本变得越来越低的时候，当通讯带宽的发展进一步超越摩尔定律的时候，就使得互联网的应用进入了第二次价值挖掘。单机进入网络，离线进入在线，使得终端维护和系统维护开始进入新的时代。这时，我们不需要知道服务方在哪里，只需要关注我们需要获取的服务和相应的资源。 由于互联网的应用，特别是Web 2.0时代的到来，因而使技术不仅从过去的单向交流时代开始进入了双向交流时代，而且也进一步加速了互联网的发展和新能力的创造。 3、计算模式的演变 ⑴、计算模式的三个典型时代 过去，计算模式走过了三个典型的时代：从主机时代，到网络计算时代，再到现在的云计算时代。我们全当把它叫做虚拟的网络计算环境。我们是从封闭可控的平台，进入了开放和没有集中控制的网络环境。在未来最终的发展当中，在宽带不断发展、微电子价格不断下降而资源获取能力增强的时候，就出现了计算模式的新变化。 ①、80年代第一次计算机变革，是由于PC时代造成的，也就是软件第一次成为商品。
大数据与云计算简答 题
一、云计算与大数据的定义、特征 1、云计算的定义：是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。（维基百科）一种基于互联网的计算方式，通过这种方式，共享软硬件资源和信息，可以按需提供给计算机和其他设备。云计算能够给用户提供可靠的、自定义的、最大化资源利用的服务，是一种崭新的分布式计算模式。 云计算的类型可以分为基础设施即服务（Iaas）、平台即服务（Pass）、软件即服务（Saas）。 2、云计算的特征：超大规模、虚拟化、高可靠性、高可伸缩性、按需服务、极其廉价。 （1）服务资源池化：通过虚拟化技术，对存储、计算、内存、网络等资源化，按用户需求动态地分配。 （2）可扩展性：用户随时随地可以根据实际需要，快速弹性地请求和购买服务资源，扩展处理能力。 （3）宽带网络调用：用户使用各种客户端软件，通过网络调用云计算资源。 （4）可度量性：服务资源的使用可以被监控、报告给用户和服务商，并可以根据具体使用类型收取费用。 （5）可靠性：自动检测失效节点，通过数据的冗余能够继续正常工作，提供高质量的服务，达到服务等级协议要求。 3、大数据的定义：（维基百科）指利用常用软件工具捕获、管理和处理数据所耗时间超过科容忍时间的数据集，即大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值的信息而备受关注。
4、大数据的特征（5V特征）： （1）数据体量（Volume）巨大，指收集和分析的数据量非常大，从TB级别跃升至PB级别； （2）处理速度（Velocity）快，需要对数据进行近实时的分析； （3）数据类别（Variety）大，大数据来自多种数据源，数据种类和格式日渐丰富，包括结构化、半结构化和非结构化等多种数据形式； （4）数据真实性（Veracity），大数据中的内容是与真实世界中的发生息息相关的，研究大数据就是从庞大的网络数据中提取能够解释和预测现实事件的过程。 （5）价值密度低，商业价值（Value）高，通过分析数据可以得出如何抓住机遇及收获价值。 二、云计算安全，可信云以及用户对云计算信任的预期？ 由于云服务的“外包”特性，用户对云提供商是否能够对其数据安全提供保障，对其应用程序是否按照约定的方式安全执行产生了怀疑，亦即云服务的可信性问题。云服务的可信问题不仅指服务计算环境受其开放、共享等特点而导致服务结果可能受云服务提供商的主观意志等因素导致的不可信。 用户对云服务的安全怀疑主要集中在客观与主观两个方面：客观来说，云计算的集中服务模式使其更容易成为安全攻击的目标，而云计算技术的大规模分布式处理也大大增加了安全管理的难度，因此服务商是否具有足够的安全管理能力来保证用户信息安全值得怀疑；主观方面，由于云计算模式下，用户信息的存储、管理以及应用处理都在云服务方完成，用户丧失控制权，此时如何保证服务方忠实履行自己的服务协议，保证服务质量，并且不会通过自己的特权来违规使用用户资源获利成为必须要解决的问题。
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
基于大数据的云计算支撑平台 IOP 浪潮IOP（Inspur Open Platform）是一个云计算架构的开放平台，采用大数据处理、社交网络、情景感知、服务化架构等关键技术和理念开放的应用支撑和资源整合平台，通过共享平台强化企业信息资源的有机整合和高效利用，构建开放、协同、智能、互联、弹性可扩展的IT基础软件环境，使客户有机会利用新技术的解决传统IT系统规划和建设存在的诸多难题，实现信息化从传统架构向云计算架构的平滑转型。 IOP平台采用“平台+应用”的总体思路，采用支持分布式、高并发和大数据处理的云计算架构设计。开放的架构为各种应用提供分布式计算、分布式存储、大数据分析、统一用户认证、统一消息引擎、统一资源管理等基础支撑服务能力，通过IOP可以整合来自内外部的各类信息资源，实现信息资源共享，开放业务能力和数据资源，创新应用开发和IT服务模式。 IOP平台的应用领域包括：基于云计算的信息化应用支撑、大数据处理和资源整合以及面向公众的互联网服务和电子商务。
IOP具备四个方面的关键特性，以满足之上承载应用的稳定运行。 1、满足百万级以上用户海量数据快速存取，并能够支持水平扩展， 基于大数据可弹性扩展的技术架构。 2、利用Open API整合与共享信息资源，对基础共性服务统一构建， 基于开放平台为多应用提供公共服务。 3、制定应用开发统一的标准规范，采用应用商店模式搭建应用生 态环境，促进应用创新。。 4、IOP产品研发始终坚持安全可控的技术路线，所有底层架构和 组件均为自主研发。 目前平台研发工作已经有了初步的成果，并在浪潮实施的包括智慧城市、警务云等一些重大项目中进行应用，浪潮IOP平台的应用极 大的提高了行业IT整体的计算能力、整合能力和创新能力,下一步将
大数据计算服务使用文档 1.新建项目 新建项目big_testdata1 2.添加成员 一个项目下可以添加多个成员，在这里我们添加一个成员是“悠闲地小蜗牛” 3.角色授权 新建一个项目后，会默认创建一个admin角色，该角色具有操作项目和表的所有权限，在这里我们新创建一个角色test1，给角色赋予项目的权限和表的权限，再把角色test1赋予给用户“悠闲地小蜗牛”
4.新建表 新建表tbl1 下面我们用成员“悠闲地小蜗牛”来操作项目和表 用成员“悠闲地小蜗牛”账号登录大数据计算服务，这时在项目列表下看不到刚才我创建的big_testdata1项目。 这时我们用客户端来登录，下载客户端，下载好后解压，解压后如下图所示： 在conf文件夹中有odps_config.ini文件。编辑此文件 odps_config.ini文件内容为：
修改好配置文件后运行bin目录下的odps(在Linux系统下是./bin/odpscmd，Windows下运行./bin/odpscmd.bat) 打开后界面如下： 用项目下的成员“悠闲地小蜗牛”来执行以下代码： create table tbl2(id bigint); insert overwrite table tbl1 select count(*) from tbl1; select'welcome to MaxCompute!'from tbl1;
提示没有这个CreateInstance权限，这时我们回到大数据计算服务给“悠闲地小蜗牛”添加 CreateInstance，CreateTable权限 责任人“悠闲地小蜗牛”创建表tbl2成功 我们给表tbl1添加权限，alert、select、update