聚合系统数据流向

最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。

本文共有以下7个章节：什么是数据湖数据湖的基本特征数据湖基本架构各厂商的数据湖解决方案典型的数据湖应用场景数据湖建设的基本过程总结一、什么是数据湖数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。

但是在计划构建数据湖之前，搞清楚什么是数据湖，明确一个数据湖项目的基本组成，进而设计数据湖的基本架构，对于数据湖的构建至关重要。

关于什么是数据湖，有如下定义。

Wikipedia是这样定义的：数据湖是一类存储数据自然/原始格式的系统或存储，通常是对象块或者文件。

数据湖通常是企业中全量数据的单一存储。

全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据，各类任务包括报表、可视化、高级分析和机器学习。

数据湖中包括来自于关系型数据库中的结构化数据（行和列）、半结构化数据（如CSV、日志、XML、JSON）、非结构化数据（如email、文档、PDF等）和二进制数据（如图像、音频、视频）。

数据沼泽是一种退化的、缺乏管理的数据湖，数据沼泽对于用户来说要么是不可访问的要么就是无法提供足够的价值。

AWS的定义相对就简洁一点：数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。

您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析–从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。

微软的定义就更加模糊了，并没有明确给出什么是Data Lake，而是取巧的将数据湖的功能作为定义：Azure的数据湖包括一切使得开发者、数据科学家、分析师能更简单的存储、处理数据的能力，这些能力使得用户可以存储任意规模、任意类型、任意产生速度的数据，并且可以跨平台、跨语言的做所有类型的分析和处理。

聚合反应工程简答题第二章化学反应工程基础1.说明聚合反应工程的研究内容及其重要性。

研究内容:（1）工业规模的聚合过程为对象,以聚合反应动力学和聚合体系传递规律为基础;（2）将一般定性规律上升为数学模型,从而解决一般技术问题到复杂反应器设计,放大等提供定量分析方法和手段;（3）为聚合过程的开发,优化工艺条件等提供数学分析手段。

（背这个！）简而言之:聚合反应工程研究内容为:进行聚合反应器最佳设计;进行聚合反应操作的最佳设计和控制。

2.动力学方程建立时,数据收集方式和处理方式有哪些?收集方式:化学分析方法,物理化学分析方法处理方式:积分法,微分法。

3.（背！）反应器基本要求有哪些？①提供反应物料进行反应所需容积,保证设备一定生产能力;②具有足够传热面积;③保证参加反应的物料均匀混合4.基本物料衡算式,热量衡算式①物料衡算:反应物A流入速度-反应物A流出速度-反应物A反应消失速度-反应物A积累速度=0(简作:流入量-流出量-消失量-积累量=0)②热量衡算:随物料流入热量-随物料流出热量-反应系统与外界交换热量+反应过程的热效应-积累热量=05.（背！）何谓容积效率?影响容积效率的因素有哪些？（1）工业上,衡量单位反应器体积所能达到的生产能力称之为容积效率,它等于在同一反应,相同温度、产量、转化率条件下,平推流反应器与理想混合反应器所需总体积比:η=Vp/Vm=τp/τm。

（2）影响因素:反应器类型,反应级数,生产过程中转化率6.何为平推流和理想混合流?①反应物料在长径比很大的反应器中流动时,反应器内每一微元体积中流体均以同样速度向前移动,此种流动形态称平推流;②由于反应器强烈搅拌作用,使刚进入反应器物料微元与器内原有物料元瞬时达到充分混合,使各点浓度相等且不随时间变化,出口流体组成与器内相等此流动形态称理想混合流。

7.实现反应器的热稳定操作需满足哪些条件?①稳态条件：Qr=Qc。

②稳定条件：dQc/dT>dQr/dT。

Flume学习之路（⼀）Flume的基础介绍⼀、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在⼤数据的业务处理过程中，对于数据的采集是⼗分重要的⼀步，也是不可避免的⼀步.许多公司的平台每天会产⽣⼤量的⽇志（⼀般为流式数据，如，搜索引擎的pv，查询等），处理这些⽇志需要特定的⽇志系统，⼀般⽽⾔，这些系统需要具有以下特征：（1）构建应⽤系统和分析系统的桥梁，并将它们之间的关联解耦；（2）⽀持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有⾼可扩展性。

即：当数据量增加时，可以通过增加节点进⾏⽔平扩展。

开源的⽇志系统，包括facebook的scribe，apache的chukwa，linkedin的kafka和cloudera的flume等。

⼆、Flume的简介 flume 作为 cloudera 开发的实时⽇志收集系统，受到了业界的认可与⼴泛应⽤。

Flume 初始的发⾏版本⽬前被统称为 Flume OG（original generation），属于 cloudera。

但随着 FLume 功能的扩展，Flume OG 代码⼯程臃肿、核⼼组件设计不合理、核⼼配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后⼀个发⾏版本 0.9.4. 中，⽇志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 ⽉ 22 号，cloudera 完成了 Flume-728，对 Flume 进⾏了⾥程碑式的改动：重构核⼼组件、核⼼配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另⼀原因是将 Flume 纳⼊ apache 旗下，cloudera Flume 改名为 Apache Flume。

Flume是⼀个分布式、可靠、⾼可⽤的海量⽇志聚合系统，⽀持在系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收⽅的能⼒。

目录未找到目录项。

Informatica 数据整合分为三类数据集成，即下游集成、中游集成和上游集成下游集成：指数据仓库，显著特点是，从数据流的角度看，数据仓库的主体功能是所有应用系统的下游，所有数据都会流向数据仓库中游集成：指数据交换平台，特点是，任何平台和它的关系都是对等的，它是这个数据枢纽hub的中心点,用来支持所有系统之间数据的数据交换，用于解决数据集成毛团问题。

上游集成：指主数据平台，而且是交易型主数据平台。

用于管理企业核心数据的黄金记录，作为企业核心记录的黄金数据的标准平台。

Informatica 的四个客户端及作用：1，Repository Manager：用于管理Repository本身，如创建文件夹，导入/导出Mapping、Worlkfolw，版本管理，部署，Repository的清除。

2，Designer：用于导入ETL元数据，开发ETL程序。

在Power Center中ETL程序被叫做Mapping，即源到目标的映射。

3，Workflow Manager：用于对Mapping的进行数据源、数据目标、使用的字符集、调优及参数配置等，使Mapping能够运行。

此外，还提供了基本的调度和排程的能力。

4，Workflow Monitor：用于监控运行时的Workflow和session，监控ETL运行是否正常、执行效率及异常时的错误信息。

Power Center的开发过程：0，使用PowerCenter客户端连接域（Domian）和数据库服务器Repository Service；建立一个文件夹（Folder），用于开发学习；1，在客户端PowerCenter Designer中导入源表和目标表的结构定义；注：在Power Center Designer中导入的仅仅是表结构，与执行过程的表名无强相关2，在Designer中，创建Mapping（ETL流程）3，在Designer中，拖动源和目标，以及相应组件进入Mapping4，在Designer中，建立源和目标，以及相应组件之间的映射5，在Workflow Manager中提供相应的配置信息及参数6，通过Workflow Monitor客户端进行监控7，预览执行结果重要概念：Mapping：是一个程序，但它不直接可以执行Session：是一个Mapping的实例，指定相关的配置信息后，可以执行；Workflow：可以执行一个或者多个Session，对Session或者其他Task组件进行排程基础组件：1，Source：源文件数据源可以是数据库表，文本文件，XML文件，SAP等,应用系统、Hadoop，MQ等源文件常用方法：手工创建，通过数据库、文本文件、样例文件导入注意：理论上，源表结构定义继承了数据库中表的定义，但是实践中有可能导入后的数据类型发生变化，如表中varchar2，而导入后变为nvarchar2，从而引起Session执行异常。