下载文档原格式
2012年8月1 前言............................... 错误!未指定书签。
一Exadata概述....................... 错误!未指定书签。
1Exadata简介....................... 错误!未指定书签。
2Exadata的配置及性能参数 ........... 错误!未指定书签。
二Exadata特性....................... 错误!未指定书签。
1SmartScan（智能扫描）.............. 错误!未指定书签。
2StorageIndex（存储索引）........... 错误!未指定书签。
3FlashCache（智能闪存）............. 错误!未指定书签。
4Compression（压缩）&EHCC（ExadataHybridColumnarCompression）错误!未指定书签。
5IORM（IO资源管理） ................ 错误!未指定书签。
三Exadata监控....................... 错误!未指定书签。
1Exadata特性监控常用指标 ........... 错误!未指定书签。
2如何查看指标....................... 错误!未指定书签。
四如何应用Exadata................... 错误!未指定书签。
1Exadata参数调整................... 错误!未指定书签。
2在Exadata上开发注意事项........... 错误!未指定书签。
3应用总结........................... 错误!未指定书签。
4Exadata总体总结................... 错误!未指定书签。
1前言1.1本文背景前期东软-甲骨文公司组织了一次针对社保系统的Exadata联合应用测试，本文内容是本次Exadata测试的经验总结，其中包含了与Oracle技术人员交流经验应用、Oracle相关技术文档应用及个人测试经验总结。
闲聊Oracle一体机Exadata闲聊与关键字：分布式存储甲骨文在文章开始前先作个声明，本人并非专业技术人员，充其量只能算从业人员和技术爱好者。
本文也不是写给专业技术人员看的技术类文档，只是本人因为工作需要，在学习系统架构的过程中，自己的一些感触和体会，只是想分享给对和其他计算机技术感兴趣的人们，希望大家能一起探讨。
因此本文在谈到技术细节问题时，一定漏洞百出，敬请专业人士指正。
是公司研发的一款数据库一体机，关于的介绍文档，在网上能找到很多，它有很多特性，，，，等等，在本文中不对这些特性作详细说明。
本文探讨的只是在设计这款一体机时，借鉴了的开源实现等分布式计算集群的一些设计理念，使数据库的运行环境突破了传统基于共享存储的架构，创新的使用了基于的智能存储节点的架构，从而极大地提高了数据库在海量数据分析类应用的性能。
一、项目简单介绍：由于本文探讨的是和的相似处，因此先简单介绍下。
是开源软件基金会的一个项目的总称，它包含了，，，，等组件，它是基于和的论文发展起来的开源软件项目，而和是它的核心。
是一个开源的分布式文件系统，和单机文件系统一样，它也使用目录树结构，和单机文件系统不同的是，它的文件系统是跨越整个集群的，下图是它的架构集群是主从架构，它由一台节点和多台节点构成。
节点和节点都是标准的。
节点采用存储的方式，即内置多块大容量硬盘，节点可以多达上千台。
通常用于存储大文件，在中每个文件都被切割为固定大小的数据块，然后被分散存放于多台的硬盘上。
并且每个数据块都会有副本存放于远端机架的上，副本数一般设置为三个。
节点不存放实际的文件，而只存放整个文件系统的目录树等元数据。
当客户端需要访问存储于的某个文件时，首先需要访问节点，以取得文件存放的位置信息哪几台，以及在硬盘上的具体地址，然后根据这些目的地址对各上存放的数据并行地进行访问。
的这种分布式存储架构，主要有几个好处：、当存储空间不够时，只要简单增加节点，而系统自动会把数据块分配到新节点上，而无需人工干预。
DataX3.0使用手册目录一、dataX概述 (3)1 dataX作用 (3)2 DataX3.0框架设计 (3)3 DataX3.0插件体系 (3)二、dataX安装 (4)1 创建用户组及用户 (4)2 环境变量配置 (5)3 安装python (5)三、dataX使用 (5)1 生成配置文件模板 (5)2 配置定时任务 (8)3 常见问题及处理 (8)四、dataX插件开发及安装 (9)1. Reader插件开发 (9)2. Writter插件开发 (10)3. 插件部署 (11)五、使用技巧 (12)一、dataX概述1dataX作用DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。
当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
2DataX3.0框架设计DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。
将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer：Writer 为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
3DataX3.0插件体系类型数据源Reader(读) Writer(写)RDBMS 关系型数据库MySQL √√Oracle √√二、dataX安装1创建用户组及用户2环境变量配置3安装python三、dataX使用1生成配置文件模板命令：bin/python datax.py -r {YOUR_READER} -w {YOUR_WRITER}案例1：mysqlreader-> mysqlwriterto run the job.{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"column": [],"connection": [{"jdbcUrl": [],"table": []}],"password": "","username": "","where": ""}},"writer": {"name": "mysqlwriter","parameter": {"column": [],"connection": [{"jdbcUrl": "","table": []}],"password": "","preSql": [],"session": [],"username": "","writeMode": ""}}}],"setting": {"speed": {"channel": ""}}}mysqlreader2mysqlwriter_full[ry_osm.order_detail_form].json案例2：jsonfilereader-> hbasewriterdatax@hmaster-hdfs:~/datax3/datax/bin$ python datax.py -r jsonfilereader -w hbasewriterDataX (DATAX-OPENSOURCE-1.0), From Alibaba !Copyright (C) 2010-2015, Alibaba Group. All Rights Reserved.Please refer to the jsonfilereader document:https:///alibaba/DataX/blob/master/jsonfilereader/doc/jsonfilereader.mdPlease refer to the hbasewriter document:https:///alibaba/DataX/blob/master/hbasewriter/doc/hbasewriter.mdPlease save the following configuration as a json file and usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.jsonto run the job.{"job": {"content": [{"reader": {"name": "jsonfilereader","parameter": {"column": [],"compress": "zip","encoding": "","path": []}},"writer": {"name": "hbase11xwriter","parameter": {"column": [],"encoding": "","hbaseConfig": {"hbase.cluster.distributed": "","hbase.rootdir": "","hbase.zookeeper.quorum": ""jsonfile2hbase[ry_log.terminal_log].json2配置定时任务3常见问题及处理3.1/bin/sh: 1: java: not found原因：/home/datax/datax3/datax/bin/ datax.py未取到JAVA_HOME环境变量值四、dataX插件开发及安装1.Reader插件开发public class JsonFileReader extends Reader{public static class Job extends Reader.Job {@Overridepublic void init() {// TODO Auto-generated method stub}@Overridepublic void destroy() {// TODO Auto-generated method stub}@Overridepublic List<Configuration> split(int adviceNumber) {// TODO Auto-generated method stubreturn null;}}public static class Task extends Reader.Task{@Overridepublic void init() {// TODO Auto-generated method stub2.Writter插件开发3.插件部署●libs 插件依赖第三方JAR包文件●plugin.json 插件说明文件●plugin_job_template.json 插件配置模板文件Name：插件名称Class：jsonfilereader.jar文件中全路径Description：功能描述五、使用技巧青山埋白骨，绿水吊忠魂。
数据库一体机简介：Oracle数据库一体机有一个重要的特点，即子容量(sub-capacity)定价系统。
也就是说，用户在使用该产品时，只需要对用到的核心数量来购买软件许可证，而不用一次性购买24个核的许可证。
随着业务需求增长，用户可以再购买更多的许可证。
因此可以肯定的是，Oracle数据库一体机是持续性投资的产品。
子容量定价的方式并不是甲骨文第一个提出的，IBM的大型机(Mainframe)已经使用这一方式超过10年了。
Oracle数据库一体机的处理器核心数量是24，这表示用户可以根据自己的选择从双核一直扩展到24核。
据TechTarget记者了解到，目前甲骨文只允许用户缩减一次核心数，也就是说用户可以Scale-up 多次到24核，但智能Scale-down一次。
再明显不过，甲骨文不希望看到用户钻授权策略的空子，根据自己的需求频繁地变更授权核心数。
Oracle数据库一体机首批客户实施案例：电话记录软件公司CallSource正在考虑升级自己的服务器硬件，以满足关键的生产应用需求。
最终该公司选择了Oracle最新的数据库一体机(Database Appliance)，但是其选型的过程并不是那么简单。
CallSource公司的总部位于美国加州Westlake Village，他们之前的系统是运行在Dell服务器上，因此在进行升级的时候，他们首先考虑的还是购买新的Dell 服务器、存储设备以及网络交换机。
据CallSource公司的CTO Jason Scinocca 透露，更换这些硬件的成本加在一起需要25万美元，而公司的预算不能满足。
Scinocca开始寻找新的方案，甲骨文的增值经销商Cloud Creek Systems将最新的Oracle数据库一体机介绍给Scinocca，使用这款产品只需要5万美元就能够达到相同的性能。
Scinocca表示：“一个服务器就能够抵过20万美元的价值，这一点是非常具有诱惑力的。
甲骨文数据库一体机Exadata X3详解相关专题：创业新闻时间：2013-01-03 09:18Exadata是甲骨文在业界最早推出的集成系统，并在甲骨文各大一体机中拥有最大的销售额和最广的大型用户群。
Larry Ellison在OOW 2012上宣布的第四代数据库一体机产品Exadata X3，不仅在硬件、软件等多个层面都进行了大幅升级，还首次针对推出了1/8配置的产品，以满足中型用户的需求。
一体机/集成系统通过标准化的架构集成了服务器、存储、网络、软件等配置减化了数据中心基础设施部署和运维管理的复杂性，成为企业级用户在云计算和大数据时代最受关注的产品之一。
IDC在其对亚太区ICT市场的十大预测中指出，到 2015 年，65%部署在私有云环境中的服务器将成为一体机用户通过一体机架构可通过预配置和优化处理多重工作负载、减少部署时间并增加不动产的投资回报。
目前一体机市场已经形成了供应商百花齐放的局面，甲骨文、IBM、Teradata、EMC以及与微软合作的惠普、戴尔都推出了一体机产品。
而甲骨文是一体机市场的最早倡导者，该公司已经推出了Exadata数据库一体机、Exalogic中间件一体机、Exalytics商务智能一体机、大数据一体机、SuperCluster一体机、ODA （数据库机）等六个系列的集成系统，其中Exadata是该公司最早推出的一体机，并在甲骨文各大集成系统中拥有最大的销售额和最广的大型用户群。
Larry Ellison在2012甲骨文全球大会（OOW2012）上宣布推出的Exadata X3是该公司Exadata最新的第四代产品，不仅在硬件、软件等多个层面都进行了大幅升级，还首次针对推出了1/8配置的产品，便于在中型用户得到更好的市场认可。
图注：甲骨文全球大会（OOW2012）上展出的Exadata X3（蒋湘辉摄）甲骨文自从在收购Sun以来，硬件系统的收入一直呈不断下滑的态势，但甲骨文的Exadata等一体机产品却获得了大幅增长，并提升了甲骨文的整体利润率。
在2012年12月公布的甲骨文第二财季（截止2012年11月底）报告中，甲骨文CEO Larry Ellison公开表示，“到2013年结束，像Exadata和SPARC SuperCluster 这样的产品，不但能提高我们硬件业务的利润率，还将推动我们硬件业务的增长。
”这意味着甲骨文整体硬件系统业务的业务有望在2013财年在Exadata等一体机带动下首次实现增长。
Exadata定位在数据库负载的所有平台在甲骨文目前推出的六大系列一体机中，Exadata的定位是“面向所有数据库工作负载的战略平台”。
根据甲骨文Exadata的订户报告，Exadata的工作负载正从早期大多数用户的数据仓库应用向更多的OLTP应用演进。
在Exadata最早的第一代产品，80%的工作负载都用于数据仓库，20%的负载用于在线事务处理(OLTP)。
而在甲骨文2013财年第一季度，Exadata的数据仓库负载已经降至 45%，OLTP应用负载已经上升到55%。
甲骨文公司大中华区技术战略部总经理刘松在接受ZDNet采访时表示，随着Exadata性能的日益强大，Exadata已经成为面向所有数据库工作负载的战略平台，融合了预配置的服务器、网络、存储和软件的Exadata可以为数据仓库和OLTP应用程序提供高性能数据库服务器，并成为整合到网格或私有云上的理想平台。
四代Exadata演进趋势甲骨文公司早在2008年就业界率先推出了首款软硬件集成设计的系统――Oracle Exadata数据库云服务器，在第一代ExadataV1产品中，采用了与惠普硬件合作的方式。
随着甲骨文在2009年成功收购Sun，该公司在第二代ExadataV2版本就中断了和惠普的合作，全面采用了Sun的服务器和存储等硬件架构，并配备了40Gb的InfiniBand和PCI闪存卡。
2010年甲骨文推出的ExadataX2有X2-2和X-8两个版本，增加了硬件数据库加密的功能。
2011年甲骨文为X2增加了存储扩展机架，每个节点的内存增加到2TB。
在2012年10月甲骨文CEO Larry Ellison亲自发布了第四代Exadata X3产品，由于大幅增加了内存和闪存等性能，还将其称为“内存数据库机（DatabaseIn-Memory Machine）。
Exadata X3和X2性能对比Exadata X3延续采用了Exadata X2的可扩展的服务器和存储、InfiniBand网络、智能存储、PCI闪存、智能内存高速缓存和混合列式压缩等技术。
根据甲骨文提供的X3和X2的对比数据：X3的闪存容量提升4倍，响应速度提升高达40%，实现了100GB/秒的数据扫描速率。
采用混合列式压缩功能后，数百TB的用户数据可全部放在闪存之内进行管理。
通过更新的OracleExadata智能闪存高速缓存（Exadata Smart Flash Cache）软件，数据库写入速度提高20倍。
ExadataX3-2将10 Gb以太网连接扩展至数据中心，每机架提供40个10 Gb 网络端口，用于连接用户和转移数据。
此外，在节能方面，ExadataX功耗和冷却需求降低高达30%。
亚毫秒级延迟可容纳数百万用户的交互式OLTP，亚秒级数据分析可提供实时决策，即时报告。
ExadataX3可以为薪酬管理、供应规划、现场库存、定价、路线规划、分类账会计等工作提供支持，使并行作业速度提高10倍。
Exadata X3可根据数据冷热自动存储刘松介绍，甲骨文每台ExadataX3-2机架拥有26TB的动态随机存取存储（DRAM）和闪存容量，使数据库压缩效率可提升10倍，而存储成本降低10倍。
此外，ExadataX3采用了大量存储层次，可自动将所有活动数据转移到闪存和随机存储器中，同时将活动性较低的数据保留在低成本磁盘上，从而以最低成本实现最高性能。
“Exadata X3-2能自动把热数据放在2~4TB的内存中，温数据则放入22TB 的PCI闪存中，而冷数据则存储在500TB的硬盘中。
”图注：Exadata的硬盘、闪存和内存的输出速度对比Exadata X3的CPU和操作系统甲骨文目前推出的六大一体机中，除了SuperCluster采用Sun的SPARC的T系列CPU外，其它包括Exadata在内的五大一体机都采用了英特尔的服务器芯片。
其中Exadata X3的CPU从X2的六核英特尔至强5675升级到八核的2690。
在操作系统方面，甲骨文Exadata X3-2有两个选择――Oracle Linux或Solaris 11，目前在X3-8型号上只支持Oracle Linux。
Exadata中的数据库软件和运维管理软件虽然LarryEllison在OOW2012上发布了Oracle 12c云数据库，但该数据库在2013年上半年才会正式上市，所以ExadataX3依然采用了和X2版本一样的Oracle11g企业版数据库。
在运维管理软件方面，用户通过OEM管理工具就可以对Exadata上的数据库进行统一的监控与管理。
而通过甲骨文的Oracle Enterprise Manager 12c（OEM 12c）可以实现对Exadata X3的硬件、软件、系统、数据库和配置的统一监控。
新推八分之一配定位中型用户甲骨文为满足不同行业、不同规模企业的部署需求，ExadataX3在上一代X2的全机架、半机架、1/4机架三种配置之外还新增了1/8机架，可以使客户可根据所部署数据库的大小及I/O要求进行选用。
新推出的1/8机架为较小的工作负载、测试、开发和灾难恢复系统提供了经济实惠的入门级选择。
ExadataX3的1/8配和采用了和1/4配相同的硬件，但采用了软件禁用的方式使用户只能使用到1/8配的标准性能，这样方便用户可以更方便的直接升级到1/4配置。
在报价方面，1/8配置的软件授权报价是1/4配置的50%，而硬件报价则为X3 1/4配置的60%。
Exadata可无缝升级扩展并多代共存ExadataX3可实现客户端的无缝升级和扩展，例如单台数据库云服务器可兼容不同时期的服务器；数据库和集群可横跨多代硬件；以及新软件同样可以在现有的硬件上顺畅运行。
客户若采用Exadata X3-2最新的入门级1/8机架，也可在处理需求增大时，以在线方式实现平稳升级。
刘松透露，第二代Exadata V2的1/4配和第三代X2 半配的用户使用老的机架就可以升级到最新版的Exadata X3。
中国用户已达100多家Oracle Exadata的客户遍及电信、高科技、零售和食品等领域，在全球范围内的各行各业中广泛部署。
金融、电信等行业的很多客户已将Oracle Exadata作为其数据中心的标准平台，包括法国巴黎银行、澳大利亚联邦银行以及日本软银等。
图注：甲骨文2013财年一季度Exadata用户行业分布图据刘松透露，目前OracleExadata在中国已经有100多家用户，在金融服务、保险、电信及制造业等众多行业领域一直保持着强劲势头。
华夏银行、中国人民人寿保险股份有限公司、深圳市人社局、青岛市人社局、乌鲁木齐市人社局、本溪市人社局、新疆电信、广东移动、辽宁移动、福建移动、神华集团、东风汽车、海尔集团、中冶赛迪重庆信息技术有限公司、上海研发公共服务平台、中远集装箱运输有限公司、内蒙古电网、启融普惠(北京)科技有限公司、香港房屋署等政府和企业用户都已经成功部署试用了Exadata。
“总之，作为面向Oracle云平台的关键组件，ExadataX3是企业构建私有云的理想基础架构，以高性能、高可靠性和高安全性，为企业向云平台的迈进提供了强而有力的支撑。
”总之，甲骨文的Exadata数据库一体机推动了，已经在国内外拥有大量用户，而在内存、闪存、软件和系统等多个层面进行了大幅升级的第四代内存数据库一体机产品Exadata X3必将进一步推动企业级用户对集成系统的需求。
