下载文档原格式
⼤数据管理培训复习材料第⼀篇⼤数据概论1.传感器采集的数据主要包括温度、压⼒、转速、声⾳、光线、位置、⽓味、磁场等物理量2.埋点技术的⽬的埋点技术通过在代码的关键部位植⼊统计代码，追踪⽤户的点击⾏为3.Hadoop是处理⼤数据有效技术有效技术4.第三次信息化浪潮的标志是“⼤云物移”5.⼤数据发展的萌芽期是上世纪90年代6.数据的产⽣⽅式经历了从“被动”、“主动”、到“⾃动”的转变7.麦肯锡对⼤数据定义是⼀种规模⼤到在获取、存储、管理、分析⽅⾯⼤⼤超出了传统数据库软件⼯具能⼒范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四⼤特征8.⼤数据的4V特征是体量⼤、多样性、价值密度低、速度快9.1PB=1024*1024GB10.互联⽹的数据以⾮结构化数据为主11.办公⽂档、⽂本、图⽚、⾳频这些都是⾮结构化的数据第⼆篇数据采集1.传感器数据处理的第⼀步是将电压信号转化为对应的物理量2.企业⾃⾝的APP产品可以通过埋点技术采集⽤户⾏为的数据3.数据采集与业务功能的开发会产⽣冲突4.互联⽹数据的采集依赖爬⾍技术5.互联⽹数据采集后可以应⽤于舆情管理、客户分析、⾏业分析、对⼿分析6.企业采集互联⽹数据不⼀定⾃⼰开发爬⾍程序，可以利⽤第三⽅采集⼯具第三篇数据仓库1.数据仓库的ETL过程包括数据抽取、转换、装载2.数据仓库是⾯向管理的系统，⽽普通数据库是⾯向业务的系统3.数据仓库对数据的访问时只读式的访问4.数据仓库是⾯向主题设计的，⽽普通数据库是⾯向应⽤设计的5.数据仓库的四个特征是⾯向主题的、集成的、随时间变化的、⾮易失的6.数据仓库虽然会⽐普通数据库保留更多的历史数据，但是它也需要根据时间变化删去旧的数据内容7.下⾯两个图中，图2是多维数据库的表现⽅式，更适合于数据仓库的OLAP操作图1 图2产品名称地区销售量冰箱东北 50冰箱西北 60彩电东北 70彩电西北 80空调东北 90空调西北 100 东北西北冰箱 50 60 彩电 70 80 空调 90 1008. 数据仓库的OLAP 操作包括上卷、下钻、切⽚、旋转等操作9. 数据仓库常⽤的模型包括雪花型和星型10. 下图表现的是雪花型的模型设计11. 数据仓库的表会引⼊冗余，也会对源表进⾏物理分割12. 数据仓库元数据的作⽤是描述了数据的结构、内容、键、索引等项内容13. 静态元数据包含名称、描述、格式、数据类型、关系、⽣成时间、来源、索引、类别、域、业务规则等14.动态元数据包含⼊库时间、更新周期、数据质量、统计信息、状态、处理、存储位置、存储⼤⼩、引⽤处等15.数据仓库的运维包含以下⼏部分数据安全管理、数据质量管理、数据备份和恢复16.数据仓库的数据量不断增长，针对增长数据的管理有哪些⽅法利⽤概括技术、对细剖数据的控制、对历史数据的限制、对数据使⽤范围的进⾏限制、将睡眠数据移出。
数据仓库的名词解释数据仓库的名词解释数据仓库（Data Warehouse）是指一个用于存储、整合和管理企业各个部门产生的大规模数据的集中式数据库系统。
它主要用于支持企业决策制定、战略规划以及业务分析。
数据仓库的设计和构建需要考虑数据的采集、转换、加载以及存储等多个方面，以确保数据的准确性和可用性。
一、数据仓库的基本概念数据仓库是一个面向主题的、集成的、时间一致的、非易失的数据集合，用于支持企业决策制定和业务分析。
它将来自不同数据源的数据进行抽取、转换和加载，形成一个统一的、易于查询和分析的数据源。
数据仓库的特点：1. 面向主题：数据仓库以主题为中心，将数据按照主题进行组织和存储，以满足不同部门和用户的信息需求。
2. 集成：数据仓库将来自不同数据源的数据进行整合，消除了数据冗余和不一致性。
3. 时间一致性：数据仓库中的数据是按照一致的时间标准进行存储和管理的，以支持历史数据分析和趋势预测。
4. 非易失性：数据仓库中的数据一旦存储，不会轻易被删除或修改，以确保数据的可追溯性和可靠性。
二、数据仓库的架构和组成部分数据仓库的架构通常包括数据采集、数据转换、数据加载、数据存储和数据查询等几个关键组成部分。
1. 数据采集：数据仓库的数据采集涉及到从各个数据源中提取和抽取数据的过程。
这些数据源可以是企业内部的关系型数据库、操作型数据源，也可以是外部的数据源，如Web数据、日志数据等。
数据采集可以通过ETL（Extract、Transform、Load）工具进行，在此过程中可以对数据进行清洗、转换和加工。
2. 数据转换：数据采集后，需要进行数据转换的操作，将采集到的数据进行整合和规范化。
这包括数据清洗、数据集成、数据变换等一系列处理，以确保数据的一致性和质量。
3. 数据加载：数据加载是将经过转换的数据加载到数据仓库中的过程。
数据加载可以是全量加载，也可以是增量加载。
在加载过程中，还可以对数据进行校验和验证，以确保数据的准确性和完整性。
数据库OCM认证培训大纲（oracle认证大师）Oracle DBA大师班（10g OCM方向）1. 超过90%的Oracle认证专家认为Oracle认证增加了他们的专业可信度2. 超过90%的认证专家认为Oracle认证提高了他们的工作效率3. 89%的认证专家认为Oracle认证使他们有能力提供更高水准的客户服务4. 超过88%的认证专家认为Oracle认证使他们更有实力承担复杂的IT任务5. 92%的认证专家认为Oracle认证使他们的事业得到了更好的发展OCM培训介绍Oracle Certified Master (OCM) -Oracle认证大师，是Oracle认证的最高级别，是对数据库从业人员的技术、知识和操作技能的最高级别的认可。
Oracle OCM是解决最困难的技术难题和最复杂的系统故障的最佳Oracle专家人选，也是IT行业衡量IT专家和经理人的最高专业程度及经验的基准。
OCM不但有能力处理关键业务数据库系统和应用，还能帮助客户解决所有的Oracle技术困难，将成为企业内的资深专家和顾问。
通过这个课程使ORACLE数据库专家掌握了大型Oracle数据库在Linux/Unix平台上的网格、集群、灾备、调优、数据仓库、安全等高级维护技术，有资格成为大型数据中心行业权威。
OCM培训适合对象欲挑入年薪在15万-25万行业的在职者欲从事的Oracle 技术专家职位在校大学生（计算机相关专业）欲转行为企业ERP顾问的软件开发人员欲进入外企、银行、软件公司、国企从事IT信息技术职位的某职者OCM培训学习时间&培训班型OCM培训课程内容课程一：Oracle10g 服务器配置课程简介：通过本课程使的数据库工程技术人员能够了解OCM认证的考试形式、时间安排和注意事项，帮助学员掌握手工创建数据库和表空间，配置数据库监听器等任务。
课程内容：1. OCM考试简介2. 运用脚本创建数据库2. 确定和设置有关数据库架构的参数3. 条带化数据文件4. 创建与管理复用控制文件5. 大文件表空间管理6. 创建与管理多网络配置文件7. 监听器配置8. 共享数据库服务器的监听器配置9. 网络跟踪配置10. 管理Oracle 网络进程11．优化数据访问性能12. 临时、永久、UNDO表空间管理工具软件：Oracle 10g/11g Database 、Listener、SQL/PLUS课程二：Oracle10g网格计算与控制课程简介：Oracle网格计算使多组联网计算机能够组织到一起并按需进行共享，以满足不断变化的业务需求。
知识点一数据仓库1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。
2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。
3.数据仓库围绕主题组织4.数据仓库基于历史数据提供消息，是汇总的。
5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据9.多维数据挖掘又叫做探索式多维数据挖掘OLAP 风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。
知识点二可以挖掘什么数据1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性3.描述性挖掘任务刻画目标数据中数据的一般性质4.预测性挖掘任务在当前数据上进行归纳，以便做出预测5.数据可以与类或概念相关联6.用汇总、简洁、精确的表达描述类和概念，称为类/ 概念描述7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。
面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。
形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。
结果描述可以用广义关系或者规则（也叫特征规则）提供。
9.用规则表示的区分描述叫做区分规则。
10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。
大数据基础复习题与答案1.常见的数据的类型包括（）.A. 文本(正确答案)B. 图片(正确答案)C. 模型D .音频(正确答案)E. 视频(正确答案)2.更适应大数据时代的数据库类型是（）.A. 层次数据库B. 网状数据库C. 关系型数据库D. NoSQL数据库(正确答案)3.目前主流的数据库是（）A. 层次数据库B. 网状数据库C. 关系型数据库(正确答案)D. NoSQL数据库3.关于数据的使用和管理，下面正确的是（）A. 想要使用数据，必须先进行数据清洗，将数据变成一个可用的状态(正确答案)B. 有些初始数据的质量不高，比如数据缺失、语意模糊，因此需要数据清洗(正确答案)C. 进行数据管理时，关系型数据库更擅长存储非结构化数据D. 现代社会产生的大部分数据实际上是非结构化数据。
(正确答案)4.关于数据分析，下面说法正确的是（）A. 数据分析需要借助数据挖掘和机器学习的相关算法(正确答案)B. 数据分析不需要用到大数据处理技术C. 数据分析需要构建统计模型(正确答案)D. 利用数据可视化技术可以将数据分析的结果更清晰地展示(正确答案)5.数据爆炸的时代对科学研究提出的挑战包括下面哪些（）。
A. 需要更低成本的、能更快响应的大规模分布式存储(正确答案)B. 需要更加及时的大数据处理能力(正确答案)C. 需要更多的数据用于数据价值的挖掘D. 需要更加高效的数据分析工具(正确答案)6. 数据增速越来越快的原因在于?（）A. 接入网络的设备越来越多(正确答案)B. 单条数据的所携带的信息也越来越多C. 用户越来越积极地参与到主动生产内容和数据的环节(正确答案)D. 物联网中的设备源源不断产生数据(正确答案)7第三次信息化浪潮的到来的标志是（）。
A. 个人计算机的普及B. 互联网的普及和发展C. 人工智能时代的到来D. 云计算、大数据、物联网的快速发展(正确答案)8.华大基因公司2017年产出的数据达到1EB(艾字节)。
SAN and Storage DWDM数据存储系统、网络——业务背景•全球存储数据每年增长一倍（SNIA*)，各种新应用带来海量的数据存储•电子商务•数据量巨大的媒体服务•数据仓库•Internet网站镜像•电信计费、OSS、BSS•数据中心规模不断增大，维护成本（TCO)开支庞大, outsourcing成为趋势•数据成为企业最重要的财富，必须关注数据安全•很多应用如电子交易等要求24×7×365的可获得性•IT的瓶颈当前不是计算而是存储，网络正在从计算为中心转为存储为中心的构架* SNIA: Storage Networking Industry Assiciation存储设备直接与应用服务器连接，技术简单，投资小.一般通过SCSI接口连接。
存储效率低(50%)直接连接存储(DAS-Direct attached storage)网络连接的存储设备，典型组成是使用TCP/IP协议的以太网文件服务器，数据以文件作为操作对象。
存储的介质可以是磁盘，磁盘阵列，光盘和磁带。
由于NAS是连接在局域网上的，所以客户端可以通过IP网络与存储设备交互数据,对光网络来看与普通的IP业务没有区别。
当前NAS和SAN也开始有融合的地方，原来NAS的文件服务器和存储器集成在一个盒子里，但是现在很多通过SAN进行连接。
Client Client Client 网络连接存储(NAS-Network attached storage )StorageSAN（Storage area netwrok）不是一种产品而是配置网络化存储的一种方法。
即一个由专用的集线器、交换机和网关建立起的与服务器和磁盘阵列之间的直接连接的子网，这一子网上的存储空间可由主网上(如Ethernet、ATM、FDDI)的每一系统所共享。
其接口通常不是以太网，而是FC、ESCON、Ficon 等IBM SERVERCluster Cluster ClusterSUN SERVER HP SERVER磁盘阵列磁带库LAN…...ClientClientFIBRE SWITCH光纤交换机LAN_FREEBACKUPSANStorage数据存储系统、网络——技术实现具有无限的扩展能力 保证对大量突发性数据的准确存储 保证存储系统扩容时业务的不间断性高速备份和强大的容灾功能保证数据的安全性 具有更高的连接速度和处理能力,从而具有更快的数据访问速度减轻LAN 负担的优势实现多个服务器之间数据共享SAN 的组成 光纤交换机FC SWITCH 存储设备 主机总线适配器HBA 特点：通过FC 协议承载SCSI 协议，实现高速传送，实现汇聚功能，通过4个2Gb 通道的汇聚实现高速传输特点：易扩展，易管理,安全性高（ZONING 技术）特点：易扩展，易管理，智能化，可靠性高，安全性高（LUN Masking) 扩展器特点: 将SAN 扩展到MAN 或WAN1、数据资料持续增长，公司数据需要以Tb 计。
数据仓库建设与管理指南第一章数据仓库概述 (2)1.1 数据仓库的定义与作用 (2)1.2 数据仓库的发展历程 (3)1.3 数据仓库与传统数据库的区别 (3)第二章数据仓库需求分析 (3)2.1 需求收集与整理 (3)2.2 业务流程分析 (4)2.3 数据仓库需求文档编写 (4)第三章数据仓库设计与建模 (5)3.1 数据仓库设计原则 (5)3.2 星型模式与雪花模式 (5)3.3 数据模型设计 (6)第四章数据集成与数据清洗 (6)4.1 数据集成策略 (6)4.2 数据清洗技术 (7)4.3 数据质量保障 (7)第五章数据仓库技术选型与架构 (7)5.1 数据仓库技术概述 (7)5.2 技术选型与评估 (8)5.2.1 技术选型原则 (8)5.2.2 技术选型方法 (8)5.3 数据仓库架构设计 (8)第六章数据仓库实施与管理 (9)6.1 数据仓库实施流程 (9)6.1.1 项目筹备 (9)6.1.2 需求分析 (9)6.1.3 数据建模 (9)6.1.4 数据集成 (10)6.1.5 数据质量管理 (10)6.1.6 数据报表与分析 (10)6.2 数据仓库功能优化 (10)6.2.1 硬件资源优化 (10)6.2.2 数据库优化 (11)6.2.3 数据集成优化 (11)6.2.4 数据缓存与压缩 (11)6.3 数据仓库运维管理 (11)6.3.1 系统监控 (11)6.3.2 故障处理 (11)6.3.3 数据备份与恢复 (11)6.3.4 安全管理 (11)6.3.5 版本控制与升级 (12)第七章数据仓库安全与备份 (12)7.1 数据仓库安全策略 (12)7.2 数据加密与访问控制 (12)7.3 数据备份与恢复 (13)第八章数据仓库数据分析与应用 (13)8.1 数据分析工具与技术 (13)8.1.1 数据清洗工具 (13)8.1.2 数据分析软件 (13)8.1.3 机器学习技术 (14)8.2 数据挖掘与商业智能 (14)8.2.1 数据挖掘技术 (14)8.2.2 商业智能应用 (14)8.3 数据仓库应用案例 (14)第九章数据仓库功能评估与监控 (15)9.1 数据仓库功能指标 (15)9.2 数据仓库监控工具与方法 (16)9.3 数据仓库功能优化策略 (16)第十章数据仓库发展趋势与展望 (17)10.1 数据仓库技术发展趋势 (17)10.2 大数据与云计算对数据仓库的影响 (17)10.3 未来数据仓库管理方向与挑战 (18)第一章数据仓库概述1.1 数据仓库的定义与作用数据仓库（Data Warehouse）是一个面向主题的、集成的、反映历史变化的数据集合，用于支持管理决策过程。
