Oracle Exadata服务器性能比较分析
- 格式:pdf
- 大小:5.78 MB
- 文档页数:37
闲聊Oracle一体机Exadata闲聊与关键字:分布式存储甲骨文在文章开始前先作个声明,本人并非专业技术人员,充其量只能算从业人员和技术爱好者。
本文也不是写给专业技术人员看的技术类文档,只是本人因为工作需要,在学习系统架构的过程中,自己的一些感触和体会,只是想分享给对和其他计算机技术感兴趣的人们,希望大家能一起探讨。
因此本文在谈到技术细节问题时,一定漏洞百出,敬请专业人士指正。
是公司研发的一款数据库一体机,关于的介绍文档,在网上能找到很多,它有很多特性,,,,等等,在本文中不对这些特性作详细说明。
本文探讨的只是在设计这款一体机时,借鉴了的开源实现等分布式计算集群的一些设计理念,使数据库的运行环境突破了传统基于共享存储的架构,创新的使用了基于的智能存储节点的架构,从而极大地提高了数据库在海量数据分析类应用的性能。
一、项目简单介绍:由于本文探讨的是和的相似处,因此先简单介绍下。
是开源软件基金会的一个项目的总称,它包含了,,,,等组件,它是基于和的论文发展起来的开源软件项目,而和是它的核心。
是一个开源的分布式文件系统,和单机文件系统一样,它也使用目录树结构,和单机文件系统不同的是,它的文件系统是跨越整个集群的,下图是它的架构集群是主从架构,它由一台节点和多台节点构成。
节点和节点都是标准的。
节点采用存储的方式,即内置多块大容量硬盘,节点可以多达上千台。
通常用于存储大文件,在中每个文件都被切割为固定大小的数据块,然后被分散存放于多台的硬盘上。
并且每个数据块都会有副本存放于远端机架的上,副本数一般设置为三个。
节点不存放实际的文件,而只存放整个文件系统的目录树等元数据。
当客户端需要访问存储于的某个文件时,首先需要访问节点,以取得文件存放的位置信息哪几台,以及在硬盘上的具体地址,然后根据这些目的地址对各上存放的数据并行地进行访问。
的这种分布式存储架构,主要有几个好处:、当存储空间不够时,只要简单增加节点,而系统自动会把数据块分配到新节点上,而无需人工干预。
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.12<Insert Picture Here>OracleExadata性能特性解析 OracleExadata性能特性解析杨中 Real World Performance Group Server TechnologiesAgenda• Exadata Overview • Exadata Features<Insert Picture Here>4Exadata Overview5Exadata Overview - Hardware ArchitectureDatabase Grid• 8 Dual-processor x64 database servers OR • 2 Eight-processor x64 database servers • 14 High-performance low-cost storage servers• 100 TB High Performance disk, or 336 TB High Capacity diskInfiniBand Network• Redundant 40Gb/s switches • Unified server & storage network• 5.3 TB PCI Flash • Data mirrored across storage servers6Exadata Overview - Storage Server• High-performance storage server built from industry standard components • 12 disks - 600 GB 15000 RPM High Performance SAS or 2TB 7200 RPM High Capacity SATA • 2 Six-Core Intel Xeon Processors (E5640) • Dual ported 40 Gb/sec InfiniBand • 4 x 96 GB Flash Cards • Intelligent Exadata Storage Server Software7Exadata Overview - Performance8Exadata Features9Exadata Features• Exadata Smart Scans – 10X or greater reduction in data sent to database servers • Exadata Storage Indexes – Eliminate unnecessary I/Os • Hybrid Columnar Compression – Efficient compression increases effective storage capacity and increases user data scan bandwidths by a factor of up to 10X • Exadata Smart Flash Cache – Breaks random I/O bottleneck by increasing IOPs by up to 20X – Doubles user data scan bandwidths • I/O Resource Manager (IORM) – Enables storage grid by prioritizing I/Os to ensure predictable performance10Exadata Features –Smart ScanTraditional Database I/O and SQL Processing ModelExadata Features –Smart ScanSmart Scan Offload ProcessingExadata Features –Smart Scan•Smart Scan Predicate Filtering•Smart Scan Column Filtering•Smart Scan Join Processing(Bloom filter)•Offload of SQL functions•Other Exadata Smart Scan Processing: RMAN Incremental Backups, RMAN Restores and tablespace creationExadata Features –Smart Scan •Prerequisites–cell_offload_processing= true (default)–Direct path read•Parallel•SerialExadata Features –Storage IndexesExadata Features –Storage Indexes•1MB disk storage unit•Transparent•7 columns per table can be built•In memory structure•Works with predicates <, <=, =, !=, >=, >, IS NULL, IS NOT NULLExadata Features –Hybrid Columnar Compression•EHCC is not pure columnar, it is hybrid columnar •Multiple Levels of compressionQuery low | Query high | Archive Low | Archive HighOperation Database Servers Storage Servers Compression Always Never Decompression Non-Smart Scan Smart ScanExadata Features –Smart Flash Cache•PCI cards instead of disks avoids slow disk interface •Data persistent over reboots•Integrated database and storage software ensure only frequently used data is cached•skips caching backup dataskips caching mirror copy write dataExadata Features –Smart Flash CacheExadata Features –I/O Resource ManagerThe preceding is intended to outline our generalproduct direction. It is intended for informationpurposes only, and may not be incorporated into any contract. It is not a commitment to deliver anymaterial, code, or functionality, and should not berelied upon in making purchasing decisions.The development, release, and timing of anyfeatures or functionality described for Oracle’sproducts remains at the sole discretion of Oracle.21。
基于OracleExadata的数据库整合及性能优化摘要:Oracle Exadata将智能存储软件和标准化硬件相结合,提供了高性能及高稳定性的数据库存储服务。
对其配置及有特色的功能进行了介绍,在使用及深入研究之后,通过对数据库整合及其参数配置性能优化的方式,提高了其整体运行效率。
关键词:Oracle Exadata;数据库整合;性能优化0 引言随着数据库系统规模的增加,传统的系统架构的瓶颈问题越来越突出。
首先在存储层,随着长时间的运行会带来数据分布不均及IO 瓶颈,其次在网络层由于带宽的不足会导致大量数据无法快速传达,最后在服务器层由于接收过多的数据处理,内存优势无法发挥。
具体而言就是传统的存储设备不知道数据库驻留在存储设备上,因此无法提供任何数据库识别I/O 或SQL 处理。
数据库请求行或列时,从存储返回的是数据块而非数据库查询的结果集。
传统的存储不具备数据库智能来识别实际请求的特定行或列。
因此,当数据库查询处理I/O请求时,传统的存储将消耗带宽,返回大量与执行的数据库查询不相关的数据。
1 Oracle Exadata功能及特点1.1 Oracle Exadata功能Oracle Exadata其实是一台带有CPU、内存及操作系统(Oracle Enterprise Linux)的服务器,当数据库需要查询时,Exadata可对数据进行筛选,然后将结果传送到服务器内存,而不是将结果转移到存储系统中,从而大量减少存储系统的读写。
Exadata是一个模块化产品,每一个模块称为存储单元,增加存储单元可以提高这个系统的吞吐量,并称为一种大容量并行的存储网格,增加存储单元可以增加传输管道的数量。
Oracle Exadata智能存储服务器通过在存储部件中实现数据密集处理,并进行表及索引的扫描,与数据过滤无关,从而减轻服务器及带宽的负载,提高工作效率。
1.2 智能扫描Oracle Exadata可进行仅被请求的行返回到数据库服务器的谓词过滤,仅被请求的列返回到数据库服务器的列过滤扫描,采用Bloom 过滤器实施的用于确定某行是否为预期结果的联合扫描。
Oracle Enterprise ArchitectureSoftware. Hardware. CompleteOracle Exalogic弹性云服务器介绍赵锡漪提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结传统BOSS系统架构的发展 传统BOSS系统架构的发展传统BOSS应用平台部署 传统BOSS应用平台部署按应用建立物理 wls server实例 实例 对应以地区划分 中心策略, 中心策略,每个 中心承担一半地 区的业务。
区的业务。
依靠cluster技术实 依靠 技术实 现均衡、 现均衡、避免单 点故障 考虑按应用差异 化资源配置新一代系统架构设计挑战 新一代系统架构设计挑战--拆分系统->垂直扩展->水平扩展->云化 --拆分系统 垂直扩展- 水平扩展拆分系统SAAS第三方云服务 电子渠道云服务 电子渠道云服务 (终端代理、销售) 终端代理、销售) 开放平台 (编程框架、运行环境) 编程框架、运行环境)PAAS公共服务 (会员、支付、虚拟币、搜索、数据挖掘、营销) 会员、支付、虚拟币、搜索、数据挖掘、营销) 数据存储与访问、数据处理、消息总线、BPM流程 数据存储与访问、数据处理、消息总线、 流程云化基础架构 云化基础架构 (应用多租户部署、资源按需分配、动态扩展、应用模板化) 应用多租户部署、资源按需分配、动态扩展、应用模板化)IAAS非虚拟化资源池数据中心、网络、服务器、存储 数据中心、网络、服务器、•应用 数据库物理 应用/数据库物理 应用 拆分 •OLTP/搜索 分析拆 搜索/分析拆 搜索 分 •表现层 逻辑层拆 表现层/逻辑层拆 表现层 分•定制硬件,升级 定制硬件, 定制硬件 硬件 •修改操作系统内 修改操作系统内 核 •修改应用服务器 修改应用服务器 数据库、 、数据库、应用 组件内核 •使用 使用SSD/Flash 使用•分布式缓存 分布式缓存 •网格技术 网格技术 •Map Reduce技术 技术 •异步通信技术 异步通信技术 •代理、缓存技术 代理、 代理•虚拟化技术 虚拟化技术 •云管理技术 云管理技术 •开放平台 开放平台系统架构云化挑战--实现硬件资源共享和按需供给 --实现硬件资源共享和按需供给应用程序 A 应用程序 B 应用程序 C 应用程序 D 应用程序 E负载平均利用率 <20%• 利用补充性负载峰值 • 提高利用率和效率服务器 A服务器 B服务器 C服务器 D服务器 E虚拟化和集群化实现整合• 降低资本支出和运营支 出 • 加快绿色进程云平台应用程序 A、B、C、D、E 、 、 、 、净负载平均利用率 70%释放的容量被部 署到其他地方服务器 A服务器 B服务器 C服务器 D服务器 E按需动态扩展6电子渠道的挑战网站 WAP 热线 短信 自助终端电子渠道种类 100% 物理渠道 业务承载 70% 业务办理 量占比客户端 邮件全网集中的 电子渠道支撑系统电子渠道支撑系统发展目标 电子渠道运营中心工作定位 管理模式和演进策略100%物理渠道业务承载、70%业务办理量占比 物理渠道业务承载、 物理渠道业务承载 业务办理量占比业务承载、体验优化、 业务承载、体验优化、分析监控集中建设、专业运营;自内向外、 集中建设、专业运营;自内向外、先易后难电子渠道业务活动的支撑--线上互动营销 --线上互动营销线上互动营销活动•传统线上活动,促销,抽奖 •秒沙,团购 •事件营销SEM•SEO •SPOSMMSales + Marketing•Weibo •SNS, Blog广告管理•内部广告 •外部广告电子渠道业务活动的技术实现分析互联网用户 用户浏览 防Abot订单认证 下单 有效订单池 用户登陆校验秒杀订单受理订单处理客户信息支付处理收费处理营销处理安全核查清算处理资金记账订单处理通信前置• 秒杀活动带来 的压力: 的压力: • 无法完成 用户登录 • 无法进入 秒杀商品 验证页面 • 订单状态 丢失 • 有效订单 溢出银行支付清算网电子渠道业务活动支撑的挑战网络 网络带宽压力 CDN Web 服务器 静态内容PV压力 静态内容 压力 动态内容PV压力 动态内容 压力 会员认证 第三方平台接入能力 认证管理 支付平台 订单 数据库处理压力 数据库 订单处理压力客户体验提升挑战• Amazon: 增加 100ms 延迟将导致收入下降 1%; Google: 400 ms 延迟将 导致每用户搜索请求 下降 0.59%; Yahoo!: 400ms 延迟会 导致流量下降 5-9% ; Bing: 2 秒的延迟将导 致收入降低 4.3%/用 户 Shopzilla 将页面载入 时间从 7秒缩减到 2 秒,转化率提升了 712%,页面请求增加 25%,只用一半服务 器就够了•各行业首页显示时间用户体验的影响•••活动和突发事件带来的峰值压力新一代业务平台的系统架构技术选择•定制开发 定制开发HAProxy, 定制开发 , Squid、Nginx 、 •定制开发 定制开发LVS 定制开发 •NoSql框架 支持 框架,支持 框架 Map-Reduce •自开发异步消息 自开发异步消息 系统 •自开发搜索框架 自开发搜索框架 •自建 自建CDN,优化节点 自建 , 负载与链路调度 •多级 多级Cache 多级•修改 修改JVM,汇编 修改 , 重写, 重写,编译级优化 ,修改GC内核 修改 内核•改写 改写MYSQL,增加 改写 , 增量复制、 增量复制、日志系统 •增加针对 增加针对SSD、 、 增加针对 PCIE Flash支持 支持•GFS框架 支持 框架,支持 框架 Map-Reduce •自定义文件系统 自定义文件系统 •自定义分区与备 自定义分区与备 份特性 •提高集群扩展能 提高集群扩展能 力•修改操作系统的文件 修改操作系统的文件 系统、资源管理、 系统、资源管理、网 络内核 •根据服务器硬件定制 根据服务器硬件定制 内核新一代业务平台的系统架构选择考虑 新一代业务平台的系统架构选择考虑--预集成、标准化 --预集成 预集成、工具组件应用框架 应用服务器语言 数据库 操作系统IDC Predictions 2011提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结满足所有企业需求的单一平台--性能、可靠性和简单化 --性能 性能、标准化的的平台--适合所有业务处理 --适合所有业务处理为什么选择工程预集成平台? 为什么选择工程预集成平台?--更快、更易使用、更高的整体拥有价值 --更快 更易使用、 更快、ApplicationIntegrated Tuned Optimized IdenticalOSComput e I/O StorageHP Blades HP Networkin g HP Storage1 Engineered SystemUnpack to in hproduction ours162 partsMonths from start to production• “小变大”+灵活资 小变大” 灵活资 源分配提高整体的 CPU利用率,其实是 利用率, 利用率 提高性能 • 资源调配和优化能力 不一样 •ATEA在OS层面调动 资源,而ExaLogic在应 用层面 •ATEA节点之间的 backbone无法和MPP的 比较 • 空间、电力、制冷成 空间、电力、 为小型机集群运维的 巨大消耗开放技术栈(x86刀片 Mainframe架构 开放技术栈(x86刀片) + Mainframe架构 刀片)• 标准化平台- 标准LINUX技术平台 - 标准J2EE C/C++• 分区”Partitions” 分区- 内置设备来对计算节点分组, 优化 资源配置• 虚拟化- Guest OS的VM – OVM3.0 (in 1.1) - Solaris的VM Container (Solaris Zone), 性能最好• WebLogic数据网格 数据网格- 把多个WLS实例资源合并成一个大资 源池, 应用部署可以随意”漂移”Partition A Partition B Partition C• 统一管理 监控/资源调配 统一管理/监控 资源调配 监控与IBM最新P系列服务器对比 IBM最新 最新P• 如果只考虑 如果只考虑CPU处理能力的对比 处理能力的对比 • ¼ Rack = 2台P770 (64 core) • Full Rack = 2台P795 (256 core)Oracle Exalogic 弹性云平台应用网格, 操作系统, 应用网格, 操作系统, 企业管理和硬件集成平台ApplicationsWebLogic ServerCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialEnterprise Manager Enterprise ManagerCoherence TuxedoJRockit and HotSpotExalogic Elastic Cloud SoftwarePerformance and Management Optimizations Linux SolarisExalogic Elastic Cloud X2-2Factory Assembled and Installed Installed on premisesEL X2-2应用系统支持与认证企业级应用支持和优化Oracle ApplicationsCustom Applications on FMW3rd Party ApplicationsOracle Exalogic Elastic CloudCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialOracle Exalogic Elastic Cloud X2-2 X2Integrated Compute, I/O, Networking and Storage集成存储 集成存储服务器 • • • • • 应用共享存 Clustered for HA 40 TB 混合存储 4 TB read cache 72 GB write cacheFlash AcceleratedInfiniBand I/O Fabric and 10GbE/GbE 10GbE/GbE • 40 Gb/sec links Fully • 10 Gigabit Ethernet Redundant connectivity to datacenter 计算节点服务器 点服务 • • • • 30 x86 compute nodes 360 Xeon cores (2.93 GHz) 2.8 TB DRAM 960 GB SSDBalanced for PerformanceEL X2-2Copyright © 2011 Oracle Corporation - Proprietary and ConfidentialExalogic I/O and Network DesignHigh Level ViewExalogic X2-2Ethernet Virtualization on InfiniBandHigh-performance “Virtualized Ethernet” over an InfiniBand I/O Backplane supported by dedicated silicon and the Oracle NetworkCompute NodesData Center Service Network (10GbE)Standard Oracle DatabaseExadata10GbEEthernet/InfiniBand GatewaysStorageApplicationsManagement Switch Data Center Mgmt Network (GbE)GbEInfiniBand I/O Backplane (40 Gbs QDR)Management Network (GbE)Logs Binaries Patches User FilesCopyright © 2011 Oracle Corporation - Proprietary and Confidential环境要求环境组件 空间要求 要求电源要求电源功率 空调功率 风量(前后) 实际尺寸 重量 地板承重1998 mm (高) x 600 mm (宽) x 1200 mm (厚) 门要求:高:2184mm,宽:1220mm,深: 1575mm,倾斜度:<6度 15KVA/24KVA 2组 高压三相电 IEC309-4P5W-IP44(32A,400V, AC,3ph) 最大:10.897千瓦 标准:7.952千瓦 最大:41250千焦/小时 标准:30101千焦/小时 最大:大约1812 CFM 标准:大约1322 CFM 1998 mm (高) x 600 mm (宽) x 1200 mm (厚) 679.481 千克 731.64千克Page 24Exalogic 解决平台扩展性问题一种新的超级计算机小变大, 小变大,组成弹性服务器云• Built for Application Grid Simple to scale Open, standard Easy to use • Lossless switched fabric Quality of Service and security Fault tolerance and failover Extreme ScalabilityEL X2-2Copyright © 2011 Oracle Corporation - Proprietary and Confidential企业应用整合--为整个企业构建单一平台 --为整个企业构建单一平台E-Business POOLA E-Shop C Planning Account PRM BSupplyChain POOLA B Supply Chain COLAP POOL 不同计算资源之Search间的动态划分; 间的动态划分; 不同网络资源的A Data Market CB动态划分; 动态划分; 不同租户之间的 资源的动态调配; 资源的动态调配;Marketing Platform Management关键应用的多租户划分粒度--超强的安全性与细粒度的资源配置 --超强的安全性与细粒度的资源配置Exalogic 解决用户体验问题传统企业应用部署--主要性能瓶颈 --主要性能瓶颈© 2010 Oracle Corporation极限Java性能 极限Java性能The power of the Oracle Exalogic Elastic Cloud Software250 200450(Higher is better)400 350 300 250(Lower latency is Better)Tx/Sec150 100 50 0200 150 100 50UpdateStandard WebLogic ServerInsertDelete0GridLink for ExadataCreateWS PurchaseManageBrowseStandard PlatformExalogic2-3X improvement in Database OLTP60% more Java Operations/sec.Up to 10X faster response time– Run-time connection load balancing – JDBC over SDP– Enhanced buffer – Cluster IPC handling for multiplexing over SDP InfiniBand – Scatter-gather IO – Optimized multi-core schedulerTuxedo Performance on ExalogicThe Power of the Oracle Exalogic vs. standard platformsStandard TCP Standard TCP 10000 9000 50 8000 ExaLogic 60 ExalogicLower is betterRequests/sec7000 6000 5000 4000 3000 2000 1000 0 10 50 10 20millisecond Concurrent users4030080%-400% improvement in Database OLTPJolt/wsUp to 8x faster response timeCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialExalogic的Oracle企业级 Exalogic的Oracle企业级Linux 企业级LinuxRed Hat compatible kernel 197 thousand 4GB/second 89 thousand Unbreakable Enterprise Kernel 1 million 9.5GB/second 273 thousandBenchmark8kb flash cache reads (IOPS) Solid State Disk access Infiniband RDS messages, single card (IOPS) 8 socket database OLTP (transactions per minute)Gain 400% 137% 200%1.8 million 3.2 million 75%InfiniBand 性能优势多达12倍性能提升 多达12倍性能提升• 网络 至关重要 网络IO至关重要 - 影响应用程序性能和规模的第 一要素 • 消除缓存间的数据复制开销 - 从4层到0层 • 使用大数据包减少网络开销 - 64K 替代4K packets • 基于 基于InfiniBand 优化 - 3x 于10 GbE网络环境的吞吐 量 - 基于SDP响应时间减少50%10XExalogic SoftwareTCP/IP Sockets Direct Protocol IPoIBInfiniBand CoreHost Channel Adapter (Driver)Exalogic与ExaData协同工作 Exalogic与ExaData协同工作960 Gb/秒 秒(最大:24 x InfiniBand QDR) 最大: ) • 独到之处:直接 InfiniBand 集成! 独到之处: 集成! • 极限性能、可靠性、安全性 极限性能、可靠性、 • 部署和管理简单中间件 云服务器高达数据库云 服务器3 倍的OLTP 性能Active GridLink for RAC• 资源敏感的负载平衡 • 即时连接故障切换 • RAC 节点的事务亲和性 • 为 InfiniBand SDP 而优化的 SQLnet© 2010 Oracle CorporationExalogic高速存储系统 Exalogic高速存储系统混合存储能力GB/s按照对象访问热度设计存储IOPSExalogic 解决运维管理问题标准化、易于管理 标准化、易于管理Exalogic Elastic 云管理从基础架构到应用平台ApplicationsCustom Web Applications E-Business Suite Fusion Apps SiebelEnterprise ManagerMiddleware PlatformsIntegration: SOA Suite Process: BPM Suite Security: Identity MgmtUser Interaction:WebCenterShared Services Application Grid: WebLogic Suite Database GridGrid ControlExalogic Elastic Cloud InfrastructureOperating Systems VirtualizationExalogic ExadataOpsCenter© 2010 Oracle Corporation完整集成的管理改变传统的应用交付创建应用App • Request software • Build application • Request HW • Request provisioning • Request new HW • Request scale-up • HW locked-up硬件与平台App平台扩容App独立运行/维护Weeks to MonthsWeeks to Months创建应用App • Leverage Platform • Build App自服务获得平台App动态伸缩App应用共享平台• Platform supports further apps • Provision via SelfService • Scale-up via SelfService更敏捷 更可控Minutes Minutes提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结海外测试案例Response Time9x response time improvement 5x concurrent users• SpecJ2008 • 2x Improvement in Compiler • 3x Improvement in rge • 2x Average improvement in testsExalogic 中国区测试总结客户 西安未来国际 (已购买) 中国联通北六 ESS 青岛海尔 (已购买) 重庆社保 平台 WLS, MQ, RAC; ½ EL + ½ ED WLS, RAC on EL; ½ EL WLS, ¼ EL + ¼ ED WLS 8.1.6, ½ EL + ½ ED Tuxedo, ¼ EL + ¼ ED 测试结果要点 性能:12x-22x 提高; 云特性:弹性伸缩 性能:吞吐量最高3.7x提高,最高 56x响应时间提升,线性扩展 性能:3x-4x 提高; 云特性:弹性伸缩 性能:7200并发,5秒内响应时间; ½ 配Exalogic + ½ 配Exadata满足 41区县5年内需求 最高100,700TPS航段天查询,超出 客户期望10倍,响应时间超出3.7倍中国航信44中国联通测试 中国联通测试结果 联通测试结果China UniCom ESS systemTPS25000 20000 15000 10000 5000 0 PC Server Exalogic面临主要挑战: 1. 北方六省ESS整合,集中化 电子销售服务系统 2. 全业务分析和查询 3. 系统压力大,管理复杂 测试结果 TPS 提升: • Up to 3.7X higher throughput • Throughput grows lineally when new instance and new node added in the cluster 响应时间 • Up to 56X faster response time 统一端到端云机管理 线性扩展能力Response time0.6 0.5 0.4 PC Server 0.3 0.2 0.1 0 login custInfoQry webService(50K) Exalogic45总结1 高性能 在不需要大规模修改应用的前提下,提高 倍以上提高用户响应时 在不需要大规模修改应用的前提下,提高10倍以上提高用户响应时 间,提高并发支撑能力 在中间业务层交互复杂的场景中表现尤其突出2先进架构支持互联网的先进架构和多种技术, 支持互联网的先进架构和多种技术,支撑互联网各种形态的业务 支持云平台架构,即能满足多个小应用整合到一个平台的要求, 支持云平台架构,即能满足多个小应用整合到一个平台的要求,也 能满足大负荷系统弹性资源调整的要求3可管理性 可管理性通过性能和云化能力,降低服务器数量和密度,减少资源开销和能 通过性能和云化能力,降低服务器数量和密度, 耗,也降低了维护成本开销 一体化的管理能力覆盖从基础架构到应用平台管理的各个方面4兼容性 兼容性支持绝大多数的应用技术,如典型的 应用和C/C++应用 支持绝大多数的应用技术,如典型的J2EE应用和 应用和 应用 支持绝大多数的Linux应用 支持绝大多数的 应用。
深入解读Oracle Exadata技术自从Oracle和HP推出Exadata之后,我就很关注这个产品,之前也写了一篇Oracle database machine介绍它。
去年,Oracle和SUN合并后,推出了Oracle Exadata V2,相比较上一代产品有几个变化:第一,使用SUN的硬件;第二,宣称支持OLTP应用;第三,Oracle 11g R2提供了更多的新特性。
Exadata Smart Flash CacheExadata V2整体架构并没有太多改变,换用了SUN的硬件,除了采用intel最新的nehalemCPU以外,每台storage cell更是配置了384GB的flash,这也是为什么V2可以支持OLTP应用的关键。
Flash cache完全是自动管理,Oracle会根据数据的访问情况,决定哪些数据放在flash cache中。
所有的数据都是先被写到普通磁盘上,再根据访问情况读入flash cache的,所以如果flash card发生故障,数据不会丢失。
当然,Oracle提供了方式,可以让用户手动将表或者索引pin在flash cache中。
在自动管理的方式之外,Oracle还允许用户人工创建flash disks,和普通磁盘一样,这些flash disks通过ASM输出给数据库使用,用户可以把一些访问非常频繁的数据文件放在上面。
这些flash disks不仅仅是cache了,所以ASM会在cell和cell之间做镜像。
如果某块卡发生故障,那么整个storage cell上的flash disks会offline,保证数据不会丢失。
Smart scanSmart scan是Exadata最重要的一个功能,它的作用就是把SQL放在每个cell上去运行,然后每个cell只返回符合条件的数据给数据库,这样就极大的降低了数据库服务器的负载和网络流量,并充分利用了cell的计算资源和IO资源。
Oracle数据库云服务器Exadata介绍杨建鑫Principal Sales Consultant内容•Exadata简介•Exadata技术发展与硬件架构•Exadata技术优势及软件架构•Exadata客户案例Oracle数据库云服务器Exadata运行Oracle数据库的最佳平台适合与下面场景的架构•数据仓库(Data Warehousing)•交易系统(OLTP)•数据库整合Exadata是为所有Oracle数据库应用设计的战略数据库平台Exadata 发展•Exadata Introduced•X2-2 CPU Refresh •40 Gb InfiniBand •PCI Flash Cards•X2-2 CPU Refresh •X2-8 64-core Servers•Sparc SuperCluster •3TB Disks•Smart Flash Cache •Storage Index •Columnar Compression•Smart Scan •InfiniBand Scaleout•Smart Memory Scan •Parallel Memory Affinity •Enterprise Manager 12c•Hardware DB Encryption•Automatic Service Request•Data Mining Offload •Storage Expansion Rack•X2-8 CPU Refresh •2TB DRAM per node•Solaris x86 •Reverse Offload •Smart Flash Logging将Oracle 的最佳实践与快速发展的硬件相结合独特的软件特性Future Optimizations•In-Memory OptimizedCompression•Memory-to-MemoryInfiniBand Messaging •Flash Cache for Writes20082009 2010 2011 2012数以千计的全球成功案例Rapid adoption in all geographies and industriesSpectacular Customer Results“Softbank created a warehouse up to8x faster while reducing costs 50%”—Keiichiro Shimizu, Softbank“Turkcell’s largest 250 TB DB is nowonly 27 TB with Exadata Compression”—Ferhat Sengonul, Turkcell“Performance improved17x with no changes toour application”—Jim Duffy, BNP ParibasExadata Growth“Exadata is the fastest growing product in Oracle’s history”-Oracle CEO, Larry EllisonExadata技术发展与硬件架构Exadata架构完整的系统 : 计算资源, 存储资源, 网络资源•数据库集群–基于Intel芯片架构的数据库服务器–Oracle Linux or Solaris 11–Oracle Database 11g–10 Gig Ethernet (to data center)•存储网格–基于Intel芯片架构存储服务器–504TB裸容量– 5.3TB Flash storage–Exadata Storage Server Software•InfiniBand网络–内部网络互联 ( 40 Gb/sec )Exadata 硬件架构Exadata 智能存储网格•14 x 高性能低成本存储服务器(2U)•高性能, 低成本, 冗余, 线性扩展•100 TB 高性能SAS 磁盘, 或 504 TB 高容量SAS 磁盘 •168 Intel cores in storage •5.3 TB PCI 闪存•跨存储服务器的数据镜像保护•超级性能 &开箱即用满配最大功耗14KW, 平均 9.8KW. 而通常一个高端的SMP 小机(不包含存储和交换机)就需要超过20KW 的功耗数据库网格InfiniBand 网络•冗余 40Gb/s 交换机 •服务器与存储的统一网络• 8台数据库服务器(X2-2)✓96 CPU cores (12 Cores per server,2x Six-CoreIntel X5675 Processors (3.06 GHz)✓768 GB memory (可扩展到912GB )• 或2台数据库服务器(X2-8)✓160 CPU cores (80 Cores per server) ✓4 TB (2 TB per server)Exadata 低功耗Exadata 架构概述Exadata CellInfiniBand 交换网络单节点数据库RAC 数据库Exadata CellExadata Cell智能存储层数据库处理层 超高速并发网络层传统主机+存储的数据库架构的IO瓶颈问题•存储层:1)数据量不断增加,带来的IO瓶颈;2)随着数据长时间运行带来的数据分布不均匀,存在IO热点•网络层:传输带宽不足,无法快速传输大量数据到服务器•服务器层:接收过多数据进行处理,内存优势无法发挥Exadata–数据处理架构的革命打破数据带宽瓶颈•Exadata 提供更多的并发带宽-模块化存储单元CELL,高度并行的存储网格-带宽与容量成正比•Exadata 采用更高的单路带宽-InfiniBand提供40G bits/S的带宽,比高端阵列的光纤通道技术快5+倍•智能的存储、Exadata 传送更少的数据-数据查询过程被下移到智能存储层,传送到服务器中的数据只包括最相关的结果数据,显著的减少了发送到服务器的数据,减轻了服务器CPUs负荷。
2012年 8月1 序言 . .............................. 错误 ! 未指定书签。
一Exadata 概括 ....................... 错误 ! 未指定书签。
1 Exadata 简介 ....................... 错误 ! 未指定书签。
2 Exadata 的配置及性能参数 ........... 错误 ! 未指定书签。
二Exadata 特征 ....................... 错误 ! 未指定书签。
1 SmartScan(智能扫描) .............. 错误 ! 未指定书签。
2 StorageIndex (储存索引) ........... 错误 ! 未指定书签。
3 FlashCache(智能闪存) ............. 错误 ! 未指定书签。
4 Compression(压缩) &EHCC(ExadataHybridColumnarCompression )错误! 未指定书签。
5 IORM(IO 资源管理) ................ 错误 ! 未指定书签。
三Exadata 监控 ....................... 错误 ! 未指定书签。
1 Exadata 特征监控常用指标 ........... 错误 ! 未指定书签。
2 怎样查察指标 ....................... 错误 ! 未指定书签。
四怎样应用 Exadata ................... 错误 ! 未指定书签。
1 Exadata 参数调整 ................... 错误 ! 未指定书签。
2 在 Exadata 上开发注意事项 ........... 错误 ! 未指定书签。
3 应用总结 . .......................... 错误 ! 未指定书签。
4 Exadata 整体总结 ................... 错误 ! 未指定书签。