数据库种类
数据库性能指标
1查询性能
多用户与查询之前的冲突
硬件
然而并不是所有的数据库性能问题都是来自数据库本身，我们日常工作中最常见的另一个情景就是数据库的硬件有若干问题，这里我们简单的介绍一下可能会出现的情况，毕竟市面上有已经有很多工具可以监测这些问题了
1、没有足够的CPU或CPU速度太慢：更多的CPU可以分担服务器的负载，从而提高性能。
2、慢的磁盘没有足够的IOPS：磁盘性能可以描述为每秒输入/输出操作（IOPS），它表示每秒磁盘的吞吐量。
3、配置不正确的磁盘：数据库需要效果明显的磁盘访问，配置不正确的磁盘会造成相当大的性能影响。
4、没有足够的内存：受限或不好的物理内存影响数据库性能，可用的内存越多，性能越好。
1NOsql 数据库优点
处理大规模数据和高并发能力
缺点
1. 复杂的数据库：NoSQL的简洁，有效，速度，然而所有这些特性都表现在数据库任务很简单的时候。当数据库变得更复杂，NoSQL开始崩溃
。同时nosql相对sql方面行业标准还不成熟，SQL有行业标准接口，而每一个nosql都是独一无二的
2. 灵活的Schema设计：在以前的数据库模型中，程序员必须考虑他们所需要的列，以照顾所有的潜在的可能性和每行中的数据项。当使用NoSQL时，各种各样的字符串都能实现，这种灵活性使得程序员能够快速地提高应用的速度。然而，当有几个小组在同一个项目上工作，或者当新的开发团队接手某个项目时，这可能是个问题。
3. NoSQL数据库相比关系型数据库通常更多的是资源密集型。它们需要更多的内存和内存分配。出于这个原因，大多数主机托管公司不提供NoSQL，你必须使用VPS或专用服务器。另一方面，随着数据库的需求增加，硬件也必须扩展
4. 监控困难：相对于已经成熟的SQL，NoSQL现在的监控可以说是比较困难的，国内也只有听云一家公司能够支持主流的Memcached, MongoDB, Redis等非关系型数据库服务
数据库的性能指标
oracle的
内存，
解析，
db time
redo size 每秒
物理读
逻辑读
=================================================
关系型数据库性能指标tps
相应时间和吞吐量
响应时间越快，吞吐量越大，数据库性能越好
1. 操作系统有关的指标：cpu平均利用率，内存平均占用率，硬盘占用率，I/O数量，网络延迟
2. 数据有关指标：I/O wait cpu平均利用率，内存平均占用率，在一次I/O操作中所读的最大blocks数
，数据库能支持的最大用户数，数据库cache命中率，数据库锁处理
=================================================
1.应该是根据所建立信息系统客户的人数、预算的总数据量、平均访问量选择数据库。
2.性能指标就比较多了，你可以考虑一下数据库的可移植性（适用于不同的操作系统平台），数据库的并发性（同时操作一条数据或者一张表时数据的锁定方式），
还有就是数据库的恢复能力（在出现异常数据能够最快完成恢复及备份的时间）。
数据库种类 数据库性能指标 1查询性能 多用户与查询之前的冲突 硬件 然而并不是所有的数据库性能问题都是来自数据库本身，我们日常工作中最常见的另一个情景就是数据库的硬件有若干问题，这里我们简单的介绍一下可能会出现的情况，毕竟市面上有已经有很多工具可以监测这些问题了 1、没有足够的CPU或CPU速度太慢：更多的CPU可以分担服务器的负载，从而提高性能。 2、慢的磁盘没有足够的IOPS：磁盘性能可以描述为每秒输入/输出操作（IOPS），它表示每秒磁盘的吞吐量。 3、配置不正确的磁盘：数据库需要效果明显的磁盘访问，配置不正确的磁盘会造成相当大的性能影响。 4、没有足够的内存：受限或不好的物理内存影响数据库性能，可用的内存越多，性能越好。 1NOsql 数据库优点 处理大规模数据和高并发能力 缺点 1. 复杂的数据库：NoSQL的简洁，有效，速度，然而所有这些特性都表现在数据库任务很简单的时候。当数据库变得更复杂，NoSQL开始崩溃 。同时nosql相对sql方面行业标准还不成熟，SQL有行业标准接口，而每一个nosql都是独一无二的 2. 灵活的Schema设计：在以前的数据库模型中，程序员必须考虑他们所需要的列，以照顾所有的潜在的可能性和每行中的数据项。当使用NoSQL时，各种各样的字符串都能实现，这种灵活性使得程序员能够快速地提高应用的速度。然而，当有几个小组在同一个项目上工作，或者当新的开发团队接手某个项目时，这可能是个问题。 3. NoSQL数据库相比关系型数据库通常更多的是资源密集型。它们需要更多的内存和内存分配。出于这个原因，大多数主机托管公司不提供NoSQL，你必须使用VPS或专用服务器。另一方面，随着数据库的需求增加，硬件也必须扩展 4. 监控困难：相对于已经成熟的SQL，NoSQL现在的监控可以说是比较困难的，国内也只有听云一家公司能够支持主流的Memcached, MongoDB, Redis等非关系型数据库服务
云计算数据管理平台项目实施方案
目录 1.项目实施方案 (5) 1.1.项目实施 (5) 1.1.1.实施总体要求响应和承诺 (5) 1.1.2.项目实施内容 (5) 1.2.项目组织架构 (6) 1.2.1.项目实施内部组织架构 (6) 1.2.2.甲乙方联合项目组织架构 (12) 1.3.项目人员配置和管理承诺 (18) 1.4.项目人员保障 (19) 1.4.1.实施工作配置相应资质和数量承诺 (19) 1.4.2.总体资源配置和工作量估算 (19) 1.4.3.具体人力资源配置 (20) 1.5.实施进度计划 (20) 1.6.项目实施过程 (22) 1.6.1.系统运行维护 (22) 1.6.2.系统优化完善 (26) 1.6.3.数据治理 (30) 1.7.项目交付物及质量要求响应 (31) 1.8.项目管理方案 (35) 1.8.1.项目管理方法论 (35)
1.8.3.项目进度管理 (40) 1.8.4.项目需求管理 (40) 1.8.5.项目配置管理 (41) 1.8.6.项目变更管理 (43) 1.8.7.项目质量管理 (45) 1.8.8.项目风险管理 (65) 1.8.9.项目沟通管理 (70) 1.9.测试方案 (73) 1.9.1.总体测试策略 (73) 1.9.2.总体测试方案 (74) 1.9.3.单元测试方案 (112) 1.9.4.集成测试方案 (124) 1.9.5.系统测试方案 (126) 1.9.6.测试组织 (143) 1.9.7.测试工具 (148) 1.9.8.自动化测试 (153) 1.9.9.软件测试知识库 (160) 1.9.10.实施测试 (163) 1.10.应急计划 (164) 1.10.1.本项目的关键成功因素 (164) 1.10.2.重大风险及规避措施 (166)
1系统问题 XX公司BI系统上线运行以来，客户反映系统目前存在着下面的几个问题，涉及到数据库和ETL. 问题一：表空间增长太快，每个月需增加3—5G空间。 问题二：ETL JOB会经常导致数据库产生表空间不足错误。 2系统优化分析 2.1分析思路 要解决表空间的问题，我们必须搞清楚下面几个问题： 思路一：真正每个月数据仓库增量是多少空间 目的：得出一个正确的月表空间增长量。 思路二：目前的数据仓库表空间是是如何分布的。 目的：找出那些对象是最占空间，分析其合理性。 2.2分析过程 要得到真实的数据分布必须对表进行分析，首先需要对数据仓库的oracle数据库进行表分析，。执行下面脚本可以对数据库进行表分析。
脚本一 analyze table SA_IMS_PRODUCT_GROUP compute statistics; analyze table SA_CONSUMP_ACT_DEL compute statistics; analyze table SA_FINANCE_ACT compute statistics; analyze table SA_CONSUMP_TGT_DEL compute statistics; analyze table SA_FACT_IS compute statistics; analyze table SA_CPA compute statistics; analyze table SA_REF_TERR_ALIGNMENT_DEL compute statistics; analyze table SA_IMS_MTHLC_BK compute statistics; analyze table SA_IMS_CHPA compute statistics; analyze table SA_FINANCE_PNL compute statistics; analyze table SA_CUST_TARG_SEG compute statistics; analyze table SA_CONSUMP_ACT compute statistics; analyze table SA_FINANCE_BS compute statistics; analyze table SA_FINANCE_BGT_QTY compute statistics; analyze table SA_CONSUMP_ACT0423 compute statistics; analyze table SA_CALLS compute statistics; analyze table SA_COMPANY_DAILY_SALES_ALL compute statistics; analyze table SA_IMS_MTHLC compute statistics; analyze table SA_IMS_MTHUS compute statistics; analyze table SA_CONSUMP_TGT compute statistics; analyze table TEST_TABLE compute statistics; analyze table SA_DOCTOR_CYCLE_EXTRACT compute statistics; analyze table SA_EXCHANGE_ACT compute statistics;
关系型数据库性能测试参考指标- prettyyang的个人空间- 51Testing软... 关系型数据库性能测试参考指标----SQL Server 注：以下指标取自SQL Server自身提供的性能计数器。 指标名称 指标描述 指标范围 指标单位1．SQL Server中访问方法（Access Methods）对象包含的性能计数器全表扫描/秒 (Full Scans/sec) 指每秒全表扫描的数量。全表扫描可以是基本表扫描或全索引扫描。由于全表扫描需要耗费大量时间，因此全表扫描的
频率过高的话，会影响性能。 如果该指标的值比1或2高，应该分析设计的查询以确定是否确实需要全表扫描，以及SQL查询是否可以被优化。 次数/秒2．SQL Server中缓冲器管理器（Buffer Manager）对象包含的性能计数器缓冲区高速缓存命中率(BufferCache Hit Ratio%） 指在缓冲区高速缓存中找到而不需要从磁盘中读取的页的 百分比。该比率是缓存命中总次数与缓存查找总次数之比。经过很长时间后，该比率的变化很小。由于从缓存中读取数据比从磁盘中读取数据的开销小得多，一般希望该比率高一些。 该指标的值最好为90%或更高。通常可以通过增加SQL Server可用的内存数量来提高该指标的值。增加内存直到这指标的值持续高于90%，表示90%以上的数据请求可以从
数据缓冲区中获得所需数据。 %读的页/秒 (Page Reads/sec) 指每秒发出的物理数据库页读取数。该指标主要考察数据库从磁盘读取数据的频率。因为物理I/O会耗费大量时间，所以应尽可能地减少物理I/O以提高性能。 该指标的值应尽可能的小。可以通过使用更大的数据高速缓存、智能索引、更高效的查询或者改变数据库设计等方法，以降低该指标的值。 个数/秒写的页/秒 (Page Writes/sec) 指每秒执行的物理数据库写的页数。该指标主要考察数据库
高级数据库技术——期末论文 基于SQL查询的MySQL数据库性能优化研究 ：XX 学号:2014XXXXX 学院：计算机学院
摘要： 查询是数据库系统中最基本也是最常用的一种操作，是否具有较快的执行速度，已成为数据库用户和设计者极其关心的问题。在研究开源数据库管理系统MySQL 查询优化技术的基础上，主要结合传统SQL操作优化、深度分析 MySQL 源代码、现代数据库发展几方面进行诸如参数调优，MySQL关联查询，重写相关规则等容展开优化分析研究。 关键词：查询优化，查询重用，查询重写，计划优化
一、传统SQL查询优化操作 1.选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很好的完成任务了。同样的，如果可以的话，我们应该使用MEDIUMINT而不是BIGIN来定义整型字段。 另外一个提高效率的方法是在可能的情况下，应该尽量把字段设置为NOT NULL，这样在将来执行查询的时候，数据库不用去比较NULL值。 对于某些文本字段，例如“省份”或者“性别”，我们可以将它们定义为ENUM类型。因为在MySQL中，ENUM类型被当作数值型数据来处理，而数值型数据被处理起来的速度要比文本类型快得多。这样，我们又可以提高数据库的性能。 2.使用连接（JOIN）来代替子查询(Sub-Queries) MySQL从4.1开始支持SQL的子查询。这个技术可以使用SELECT语句来创建一个单列的查询结果，然后把这个结果作为过滤条件用在另一个查询中。例如，我们要将客户基本信息表中没有任何订单的客户删除掉，就可以利用子查询先从销售信息表中将所有发出订单的客户ID取出来，然后将结果传递给主查询，如下所示： DELETE FROM customerinfo WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo ) 使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作，同时也可以避免事务或者表锁死，并且写起来也很容易。但是，有些情况下，
XX分布云系统软件清单 XX自主研发16个软件模块可以按需自由组合，搭载在XX分布云平台上，提供给政府、各行各业企业、终端个人客户等使用。XX云平台上搭建以下5套软件系统，详见下表： 以下是XX五套系统 (一)云管理平台软件系统 Scaleone 是一款实现硬件虚拟化，将上层业务系统与IT 硬件设备解耦，将各种资源进行统一管理并按需分配的产品。ScaleOne 包含服务器虚拟化（SeverOne）、桌面虚拟化（DeskOne）两个子模块。 (二)云CRM客户关系管理软件系统
全面配置，随需应变，最大限度满足客户需要，以"客户高度满意"为宗旨设计的，因此，在产品的各个方面都体现了对客户需求的尊重与适应。从大的业务对象本身，到小的字段内容及展现形式都会针对客户的需要、习惯进行调整，最终保证客户可以方便高效地实现其应用目标；技术领先，产品稳定，形成平台性的CRM产品；组件结构，面向服务，充分保证产品的开放性，采用了J2EE体系架构，其基本业务功能是由一系列的组件和业务对象来提供的。这些组件对于系统的松耦合，系统开发一致性都有关至关重要的作用；应用深入，功能全面，为客户提供更多价值，产品已经包括了客户管理、市场营销管理、销售管理、售后服务管理、办公管理、财务管理、库存管理等等相关模块，可以全面管理客户的业务，为客户提供更多的价值。 (三)公共云信息（协同）管理平台系统 XX自主研发的协同管理产品系列，涵盖OA(协同办公)、EIP(企业信息门户)、KM(知识管理)、HRM(人力资源管理)、CRM(客户关系管理)、WM(工作流程管理)、PM(项目管理)、电子政务、内外网一体化管理等方面，通过大量的客户积累和丰富的实践经验，在集团管理、高新技术、生产制造、咨询顾问、医药通信、房地产、酒店餐饮、金融业等领域形成了一整套成熟的行业解决方案。 (四)云基础软件系统 云管理平台提供一站式文件安全管理服务，如文件编辑、格式转换、强大的富媒体管理、文件生命周期管理、全文搜索、版本控制、权限控制、分析、协作、多租户等功能，支持Windows、Mac 客户端，iOS 和Android 等终端之间的数据同步 (五)软件自动化部署引擎系统 iSOne软件自动化部署引擎系统提供了构建和部署云应用程序所需的全部工具和API，能让用户在基础设施上弹性部署并运行应用程序。用户可以用任何能在 JVM 内运行的语言来创建应用程序。iSOne构建在全球领先的XX科技拥有完全知识产权的分布式架构之上，主要包含云节点发现，云节点通讯和云节点路由协同等，能充分利用各个云节点的计算、存储和网络等资源的能力。iSOne内的多个组件可自动部署、管理、伸缩、容错以便执行应用程序。iSOne 完全屏蔽IaaS的具体实现以确保SaaS应用在不同IaaS上的可移植性。iSOne提供 API来访问可伸缩的抽象对象（如云数据库、云搜索引擎、云存储等），实现开发应用的云化需求。
云管理平台实践指南
概述 本指南的目的是为企业IT经理，业务决策者，系统运营人员，应用架构师和应用开发人员了解云管理平台（Cloud Management Platform, CMP）的功能以及如何在跨多个云基础设施（包括内部部署和公共云服务提供商）之间使用它们运行和管理应用程序和数据提供实践参考。本文还介绍了市场上一些常用的CMP，以供客户选择。混合IT架构的兴起增加了过程协调和工具互操作性的重要性，云经纪(Cloud Broker)和云管理(CMP)可以被视为通过不同的方式满足不断变化的需求。 定义云管理平台和不断发展的CMP市场 CMP为云服务客户提供了一种手段来管理跨多个云服务基础架构（包括本地云基础设施和公共云服务提供商基础架构）的应用程序和相关数据集的部署和操作。换句话说，CMP为混合云环境提供管理功能。 Gartner将CMP产品的最低要求设置为：“...结合自助服务接口的产品，提供系统映像，启用计量和计费，并通过相应策略提供一定程度的工作负载优化。”[1]鉴于快速增长的混合云环境需求，这些是CMP功能中的最低要求。 IT分析师声称，企业平均使用五到六个不同云环境的组合，通常是私有内部部署和公共环境。混合云环境预计在2016-2022年期间将以34.3％的年均复合增长率增长，到2022年将达到241.13亿美元。混合云
的采用扩大了IT业务的作用，创造了支持混合云部署复杂性的管理工具需求。预计CMP的市场预计会随着混合云环境的预期增长而增加。CMP产品的功能也将进一步发展，以满足目标环境的复杂性增加和企业客户更为复杂的要求。 为了满足最常使用混合云架构的驱动程序- 成本优化，创新速度和“未来验证”- 企业CMP还需要包括特定的功能和容易与多种其他企业管理系统（内部和外部的IT运营）集成的能力。CMP不能在日益复杂的运行空间中创建另一个独立的系统，而是需要作为现有和新制度的整合点。 目前IT运营的挑战在很大程度上取决于获取可见性所需的数据点数量以及用于收集数据的各种系统。CMP需要通过其功能和来自多个云环境的数据的聚合和集成来提供简化的管理视图。 需要具备的功能包括： ?访问及验证管理 ?跨云的资源管理
1.DBTwin技术指标 A.非入侵部署 与所有的系统服务一样,DBTwin也是通过唯一的入口-一对(IP,port)来向外提供数据服务。因此,应用程序及其数据库接口不需作任何修改。支持所有的数据库接口：https://www.doczj.com/doc/395115555.html,、ADO、RDO、DAO、OLE DB、ODBC、DB-LIBRARY等。 B.支持数据库 Microsoft SQL Server2005/2008的标准版和企业版。 C.事务处理同步复制 通过常用的宽带网络,快速的事务处理同步复制 D.高系统可用性 自动的错误恢复，真正把意料之内和意料之外的停机时间缩至最短。网关在错误恢复期间的停止服务间隙达到小于10秒。 E.零单点错误源 从DBTwin网关这一部件开始，整个数据库系统是完全、彻底地物理冗余。 F.数据“零”丢失 DBTwin使得系统同时拥有多个实时一致的数据集，这样从理论上讲，就真正消除了数据丢失的任何可能性。数据库可靠性达到目5个9，即99.999%。 G.动态负载均衡 DBTwin对只读数据库查询操作可以进行自动的判别和动态负载均衡，这是当前唯一实现的针对数据库的动态负载均衡技术，此技术可以大大改善整个数据库系统的性能。性能提升在30%~300%之间，具体提升比例取决于应用系统及网络结构和软硬的配置。 H.可伸缩性 可伸缩的数据库性能(负载均衡+非入侵式的数据库阵列扩展)，使得数据库具有可伸缩性。需要更多的数据库性能的时候，只要增加数据库服务器就可以了。 I.容灾能力 具备即时的灾难恢复能力。 J.DBTwin自身的双机容错
DBTwin支持自身的双机主备容错切换，也可以采用第三方的HA方案解决DBTwin 自身的容错问题。 DBTwin备份(复制)软件镜像1专为数据库设计是否否 2支持数据库集群是部分支持部分支持 3支持并发数据库操作是否否 4支持动态负载均衡是部分支持部分支持 5工作方式并行串行串行 6支持多份数据集是是是 7支持多份一致数据集是否否 7单点错误源无有有 8支持业务连续性程度高低中 9数据丢失可能性零高高 10错误恢复自动化程度高低中 2.DBTwin与备份/复制软件，及数据库镜像的功能、特点比较
数据库系统性能测试报告
目录 1计划概述 (3) 2参考资料 (3) 3术语解释 (3) 4系统简介 (3) 5测试环境 (3) 6测试指标 (4) 7测试工具和测试策略 (4) 8测试数据收集 (4) 9测试结果数据以及截图 (5) 10 测试结论 (10)
1计划概述 目的：找出系统潜在的性能缺陷 目标：从安全，可靠，稳定的角度出发，找出性能缺陷，并且找出系统最佳承受并发用户数，以及并发用户数下长时间运行的负载情况，如要并发100用户，如何对系统进行调优 概述：本次测试计划主要收集分析数据库处理并发请求相关数据，做出分析和调优 测试时间：*年*月**日*点*分-*点*分 2参考资料 相关性能测试资料 3术语解释 性能测试 英文解释：Performance testing 概念解释：运行性能测试确定系统处理能力，来判断系统是否需要优化 负载测试 英文解释：Load testing 概念解释：通过系统面临多资源运行或被攻击情况下进行测试 4系统简介 数据库服务器，支持整个系统对数据的存储过程 5测试环境
器 6测试指标 测试时间：*年*月*日—*年*月*日 测试范围：数据库处理服务器或客户端请求信息(插入，查询，更新，删除)语句时，服务器各项性能指标的性能测试 Jmeter指标：（由于Apache旗下性能测试工具Jmeter收集的性能指标偏少，下面的数据选取代表性指标）1．Average/ms：服务器处理事物平均响应时间（表示客户端请求到服务器处理信息且反馈客户端的时间） 2．Throughput/s：服务器每秒处理请求数（表示服务器每秒处理客户端请求数（单位：个/秒））3．KB/s：服务器每秒接受到的数据流量（表示服务器每秒接受到客户端请求的数据量KB表示）硬件指标： 1．%Processor time ：CUP使用率（平均低于75%，低于50%更佳） 2．System：Processor Queue Length ：CUP队列中的线程数（每个处理器平均低于2） 3．Memory：Pages/sec ：内存错误页数（平均低于20，低于15更佳） 4．Physical Disk-%Disk Time：磁盘使用率（平均低于50%） 5．SQL Server：Buffer Manager-Buffer Cache Hit Ratio：（在缓冲区告诉缓存中找到而不需要从磁盘中读取的页的百分比，正常情况次比率超过90%，理想状态接近99%） 7测试工具和测试策略 ?测试工具：Apache-Jmeter2.3.2 ?测试策略：根据公司内部实际情况，以及业务分布设置数据库访问量即并发用户数 ?测试数据：因为涉及公司内部数据不便外泄，敬请见谅！ ?数据说明：选取数据均为代表性数据，包括存储过程以及查询，更新，删除，插入 8测试数据收集 收集多轮测试的结果进行对比，绘制成几何增长图形，找出压力转折点
Centos6.5操作系统下，oracle数据库性能调优 1.在liunx下对数据库性能调优，首先要考虑操作系统级别的问题如：如CPU、内存、IO的瓶颈，再考虑oracle本身参数的设置。 1. 可通过top 命令判断是否为CPU瓶颈，如果oracle进程占用CPU过多，可考虑为CPU的问题。 目前我们针对的主要是内存和磁盘的问题。 2.Oracle数据库内存参数的优化 ?与oracle相关的系统内核参数 ?SGA、PGA参数设置 （1）系统内核参数 修改/etc/sysctl.conf 这个文件，加入以下的语句： kernel.shmmax = 2147483648 kernel.shmmni = 4096 kernel.shmall = 2097152 kernel.sem = 250 32000 100 128 fs.file-max = 65536 参数依次为： Kernel.shmmax:共享内存段的最大尺寸（以字节为单位）。 Kernel.shmmni：系统中共享内存段的最大数量。 Kernel.shmall：共享内存总量，以页为单位。 fs.file-max：文件句柄数，表示在Linux系统中可以打开的文件数量。 net.ipv4.ip_local_port_range：应用程序可使用的IPv4端口范围。 可通过sysctl -p 查看内核参数的值，请确认各个内核参数只有一个，避免出现一个内核参数出现好几次的情况，导致正确的参数别覆盖。
需要注意的几个问题 关于Kernel.shmmax Oracle SGA 由共享内存组成，如果错误设置SHMMAX可能会限制SGA 的大小，SHMMAX设置不足可能会导致以下问题：ORA-27123:unable to attach to shared memory segment，如果该参数设置小于Oracle SGA设置，那么SGA就会被分配多个共享内存段。这在繁忙的系统中可能成为性能负担，带来系统问题。 Oracle建议Kernel.shmmax最好大于sga，以让oracle共享内存区SGA在一个共享内存段中，从而提高性能。 Oracle 11g实现了数据库所有内存块的全自动化管理，使得动态管理SGA和PGA成为现实。 日志文件及表空间文件的大小及位置也是影响性能的一个因素，排查过程如下。 应用 iotop -ao 命令查看oracle对磁盘读写对资源的占用情况， ora_lgwr_first进行对磁盘的访问较多。 使用
数据库性能监测指标（如Oracle、SqlServer）、LoadRunner 性能测试指标 1.%Disk Time(PhysicalDisk_Total) 2.%Processor Time(Processor_Total) 3.File Data Operations/sec(System) 4.Interrupts/sec(Processor_Total) 5.Page Faults/sec(Memory) 6.Pages/sec(Memory) 7.PoolNonpaged Bytes(Memory) 8.Private Bytes(Process_Total) 9.Processor Queue Length(System) 10.Threads(Objects) dbm: rem_cons_in 到正在被监视的数据库管理器实例的当前连接数，从远程客户端启动 agents_from_pool 代理程序池中已分配的代理程序数 agents_stolen 从应用程序中盗用代理程序的次数。重新分配与应用程序相关联的空闲代理程序，以便对其他应用程序执行操作，称作“盗用” sort_heap_allocated 拍快照时，以所选择的级别为所有排序分配的排序堆空间的总页数post_threshold_sorts 达到排序堆阈值后，已请求的堆的排序数 db: appls_cur_cons 当前已连接到数据库的应用程序数 appls_in_db2 当前已连接到数据库并且数据库管理器当前正在处理其请求的应用程序数sort_heap_allocated 拍快照时，以所选择的级别为所有排序分配的排序堆空间的总页数total_sorts 已经执行的排序总数 total_sort_time 所有已执行排序的总已用时间（以毫秒为单位） sort_overflows 用完排序堆并且可能需要临时磁盘存储空间的排序总数 hash_join_small_overflows 哈希联接数据大小超过可用排序堆空间，但超出比率小于10% 的次数 pool_data_l_reads 已经通过缓冲池的数据页逻辑读取请求数 pool_data_p_reads 要求I/O 将数据页放入缓冲池的读取请求数 pool_index_l_reads 已经通过缓冲池的索引页逻辑读取请求数 pool_index_p_reads 需要将索引页放入缓冲池的物理读取请求数 files_closed 已关闭的数据库文件的总数 pkg_cache_lookups 应用程序在程序包缓存中查找一个节或程序包的次数。在数据库级，它表示自从启动数据库或重置监视器数据以来的引用总数 pkg_cache_inserts 请求的一个节不可用，因而必须加载到程序包缓存中的总次数。此计数包括由系统执行的任何隐式准备
近期因工作需要，希望比较全面的总结下SQL SERVER数据库性能优化相关的注意事项，在网上搜索了一下,发现很多文章,有的都列出了上百条,但是仔细看发现，有很多似是而非或者过时(可能对SQL 以前的版本或者ORACLE是适用的)的信息，只好自己根据以前的经验和测试结果进行总结了。 我始终认为，一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优的任务，也不单单是开发阶段的事情，而是在整个软件生命周期都需要注意，进行有效工作才能达到的。所以我希望按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事项。 一、分析阶段 一般来说，在系统分析阶段往往有太多需要关注的地方，系统各种功能性、可用性、可靠性、安全性需求往往吸引了我们大部分的注意力，但是，我们必须注意，性能是很重要的非功能性需求，必须根据系统的特点确定其实时性需求、响应时间的需求、硬件的配置等。最好能有各种需求的量化的指标。 另一方面，在分析阶段应该根据各种需求区分出系统的类型，大的方面，区分是OLTP（联机事务处理系统）和OLAP（联机分析处理系统）。 二、设计阶段 设计阶段可以说是以后系统性能的关键阶段，在这个阶段，有一个关系到以后几乎所有性能调优的过程—数据库设计。 在数据库设计完成后，可以进行初步的索引设计，好的索引设计可以指导编码阶段写出高效率的代码，为整个系统的性能打下良好的基础。 以下是性能要求设计阶段需要注意的： 1、数据库逻辑设计的规范化 数据库逻辑设计的规范化就是我们一般所说的范式，我们可以这样来简单理解范式： 第1规范：没有重复的组或多值的列，这是数据库设计的最低要求。 第2规范: 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分。消除部分依赖，大部分情况下，数据库设计都应该达到第二范式。 第3规范: 一个非关键字段不能依赖于另一个非关键字段。消除传递依赖，达到第三范式应该是系统中大部分表的要求，除非一些特殊作用的表。 更高的范式要求这里就不再作介绍了，个人认为，如果全部达到第二范式，大部分达到第三范式，系统会产生较少的列和较多的表，因而减少了数据冗余，也利于性能的提高。
Oracle性能调优原则 任何事情都有它的源头，要解决问题，也得从源头开始，影响ORACLE性能的源头非常多，主要包括如下方面:数据库的硬件配置:CPU、内存、网络条件1. CPU:在任何机器中CPU的数据处理能力往往是衡量计算机性能的一个标志，并且ORACLE是一个提供并行能力的数据库系统，在CPU方面的要求就更高了，如果运行队列数目超过了CPU处理的数目，性能就会下降，我们要解决的问题就是要适当增加CPU的数量了，当然我们还可以将需要许多资源的进程KILL掉;2. 内存:衡量机器性能的另外一个指标就是内存的多少了，在ORACLE中内存和我们在建数据库中的交换区进行数据的交换，读数据时，磁盘I/O必须等待物理I/O操作完成，在出现ORACLE 的内存瓶颈时，我们第一个要考虑的是增加内存，由于I/O的响应时间是影响ORACLE性能的主要参数，我将在这方面进行详细的讲解3. 网络条件:NET*SQL负责数据在网络上的来往，大量的SQL会令网络速度变慢。比如10M的网卡和100的网卡就对NET*SQL有非常明显的影响，还有交换机、集线器等等网络设备的性能对网络的影响很明显，建议在任何网络中不要试图用3个集线器来将网段互联。OS参数的设置下表给出了OS的参数设置及说明，DBA可以根据实际需要对这些参数进行设置内核参数名说明bufpages对buffer空间不按静态分配，采用动态分配，使bufpages值随nbuf一起对
buffer空间进行动态分配。Create_fastlinks对HFS文件系统允许快速符号链接dbc_max_pct加大最大动态buffer空间所占物理内存的百分比，以满足应用系统的读写命中率的需要。Dbc_min_pct设置最小动态buffer空间所占物理内存的百分比desfree提高开始交换操作的最低空闲内存下限，保障系统的稳定性，防止出现不可预见的系统崩溃(Crash)。Fs_async允许进行磁盘异步操作，提高CPU 和磁盘的利用率lotsfree提高系统解除换页操作的空闲内存的上限值，保证应用程序有足够的可用内存空间。Maxdsiz针对系统数据量大的特点，加大最大数据段的大小，保证应用的需要。(32位)maxdsiz_64bitmaximum process data segment size for 64_bitMaxssiz加大最大堆栈段的大小。(32_bit)maxssiz_64bit加大最大堆栈段的大小。(64_bit)Maxtsiz提高最大代码段大小，满足应用要求maxtsiz_64bit原值过大，应调小Minfree提高停止交换操作的自由内存的上限Shmem允许进行内存共享，以提高内存的利用率Shmmax设置最大共享内存段的大小，完全满足目前的需要Timeslice由于系统的瓶颈主要反映在磁盘I/O上，因此降低时间片的大小，一方面可避免因磁盘I/O不畅造成CPU的等待，从而提高了CPU的综合利用率。另一方面减少了进程的阻塞量。Unlockable_mem提高了不可锁内存的大小，使可用于换页和交换的内存空间扩大,用以满足系统对内存管理的要求。用户SQL质量以上讲的都是硬件方面的东西，在条件有限的条件下，我们可以调整应用程序的SQL质量:1. 不要进行全表扫描(Full Table Scan):全表扫描
云计算经过十年的发展，已经进入包含私有云、公有云、混合云和各种异构资源的多云环境时代，多云模式已然成为了企业不可多得选择。但是面对多云环境管理却并非是一件容易的事情，为此云管理平台再这样的大环境背景下应运而生，成为企业多云管理的刚需。 那么，什么是云管理平台，云管理平台又有哪几个作用呢？ 云管理平台又称CMP，是一套集成的软件工具，企业可以使用它来监视和控制公共，私有，混合和多云环境。多云管理平台是以客户应用为核心的下一代云操作系统，能够统一管理异构云资源，并以领先的可视化应用建模和微服务技术为基础，实现IaaS/PaaS+/容器等的自动化、开发、编排、交付和管理，并且能够对云的使用和成本进行追踪和优化。 云管理平台的作用主要可以总结为如下几点： 1、云管理平台可以实现多云的统一管理。 通过使用云管理平台，管理员可以设定跨云统一的管理策略、审批流程、资源配额以及镜像模板等，并统一管理和维护多云应用和基
础架构模板，并通过管理门户管理整个环境。云服务消费者从自助服务门户中选择多云模板进行部署和使用。 2、云管理平台可以实现跨云资源调度和编排需要。 对于企业IT应用的不同需要，管理员和开发者需要根据具体需求调度和编排跨云资源，此时，云管理平台不可或缺。对于特点的应用，开发人员期望将基础架构和应用程序服务部署到多个平台，部署后配置这些服务，并通过工作流设计界面控制生命周期操作（启动，停止等）。 3、云管理平台可以实现多云治理。 多云需要统一的治理能力。云管理平台提供的治理和控制功能使管理员能够定义角色和权限层次结构，与企业和公有云目录和身份验证服务（单点登录SSO等）集成，设置和执行成本和其它配额和限制，并使用标记的资源跟踪更改历史记录，以执行合规性策略。
数据库性能监控 1.纲要： 数据库性能监控是一个常非大范围。 包含：表空间、段、索引、主键、数据缓冲区、库缓冲、用户锁、等待事件、回滚段、I/O、共享池等等。（空间、索引、等待事件） 2.概述： 在日常生产系统中，我们的系统都使用相当长的时间，SGA 中重做日志缓存区的命中率，应该小于1%、高速缓存命中>=90%率等等一般都是正常的，当然一个非常低的命中率的确意味着系统配置或应用存在严重问题；非常高的缓存命中率存在严重低效率的SQL语句（极差的SQL造成%99以上的命中率）, 但命中率的多少义意不是很大，主要是查看系统的等待事件,系统的反应时间,吞吐率(I/O)。 在系统的配置都没有问题情况下，影响性能的主要方面集中在： 1、索引 2、oracle、操作系统某些资源利用的不合理 3、系统的等待事件 3.索引 要开始监控一个索引的使用，使用这个命令： ALTER INDEX pk_addr MONITORING USAGE;
要停止监控一个索引，输入： ALTER INDEX pk_addr NOMONITORING USAGE; 开始监控索引的使用之后，就可以在sys.v$object_usage视图中查到你所监控的索引的使用情况。 所有被使用过至少一次的索引都可以被监控并显示到这个视图中。不过，一个用户只可以接收它自己schema中的索引使用。Oracle并没有提供一个视图来接收所有模式中的索引。 4.oracle、操作系统某些资源利用的不合理 内存分配不合理 内存的利用率多于80%时，这时说明内存方面应该调节一下。方法大体有以下几项： 划给Oracle使用的内存不要超过系统内存的1/2，一般保在系统内存的40%为益。 为系统增加内存； 如果你的连接特别多，可以使用MTS的方式；（MTS（Multi-Threaded Server）是ORACLE SERVER的一个可选的配置选择，是相对DEDICATE方式而言，它最大的优点是在以不用增加物理资源（内存）的前提下支持更多的并发的连接。） 打全补丁，防止内存漏洞。 表空间分配的不合理 表空间不足的时候，系统前台根本无法使用。 回滚段空间的不足，持行脚本就回失败。 --监控表空间使用率与剩余空间大小的语句 SELECT D.TABLESPACE_NAME,SPACE "空间(M)", BLOCKS ,SPACE-NVL(FREE_SPACE,0) "使用空间(M)", ROUND((1-NVL(FREE_SPACE,0)/SPACE)*100,2) "使用率(%)", FREE_SPACE "空闲空间(M)" FROM (SELECT TABLESPACE_NAME, ROUND(SUM(BYTES)/(1024*1024),2) SPACE, SUM(BLOCKS) BLOCKS FROM DBA_DATA_FILES GROUP BY TABLESPACE_NAME) D,
1数据库设计 要在良好的SQLServer方案中实现最优的性能，最关键的是要有1个很好的数据库设计方案。在实际工作中，许多SQLServer方案往往是由于数据库设计得不好导致性能很差。所以，要实现良好的数据库设计就必须考虑这些问题。 1.1逻辑库规范化问题 一般来说，逻辑数据库设计会满足规范化的前3级标准： 1.第1规范：没有重复的组或多值的列。 2.第2规范：每个非关键字段必须依赖于主关键字，不能依赖于1个组合式主关键字的某些组成部分。 3.第3规范：1个非关键字段不能依赖于另1个非关键字段。 遵守这些规则的设计会产生较少的列和更多的表，因而也就减少了数据冗余，也减少了用于存储数据的页。但表关系也许需要通过复杂的合并来处理，这样会降低系统的性能。某种程度上的非规范化可以改善系统的性能，非规范化过程可以根据性能方面不同的考虑用多种不同的方法进行，但以下方法经实践验证往往能提高性能。 1.如果规范化设计产生了许多4路或更多路合并关系，就可以考虑在数据库实体中加入重复属性。 2.常用的计算字段可以考虑存储到数据库实体中。 比如某一个项目的计划中有计划表，其字段为：项目编号、年初计划、二次计划、调整计划、补列计划…，而计划总数是用户经常需要在查询和报表中用到的，在表的记录量很大时，有必要把计划总数作为1个独立的字段加入到表中。这里可以采用触发器以在客户端保持数据的一致性。 3.重新定义实体以减少外部属性数据或行数据的开支。相应的非规范化类型是： 把1个实体分割成2个表。这样就把频繁被访问的数据同较少被访问的数据分开了。这种方法要求在每个表中复制首要关键字。这样产生的设计有利于并行处理，并将产生列数较少的表。 把1个实体分割成2个表。这种方法适用于那些将包含大量数据的实体。在应用中常要保留历史记录，但是历史记录很少用到。因此可以把频繁被访问的数据同较少被访问的历史数据分开。而且如果数据行是作为子集被逻辑工作组访问的，那么这种方法也是很有好处的。1.2生成物理数据库 要想正确选择基本物理实现策略，必须懂得数据库访问格式和硬件资源的操作特点，主要是内存和磁盘子系统I/O。这是一个范围广泛的话题，但以下的准则可能会有所帮助。 1.与每个表列相关的数据类型应该反映数据所需的最小存储空间，特别是对于被索引的列更是如此。比如能使用smallint类型就不要用integer类型，这样索引字段可以被更快地读取，而且可以在1个数据页上放置更多的数据行，因而也就减少了I/O操作。 2.把1个表放在某个物理设备上，再通过SQLServer段把它的不分簇索引放在1个不同的物理设备上，这样能提高性能。尤其是系统采用了多个智能型磁盘控制器和数据分离技术的情况下，这样做的好处更加明显。 3.用SQLServer段把一个频繁使用的大表分割开，并放在2个单独的智能型磁盘控制器的数据库设备上，这样也可以提高性能。因为有多个磁头在查找，所以数据分离也能提高性能。 4.用SQLServer段把文本或图像列的数据存放在1个单独的物理设备上可以提高性能。1个专用的智能型的控制器能进一步提高性能。 2与SQLServer相关的硬件系统 与SQLServer有关的硬件设计包括系统处理器、内存、磁盘子系统和网络，这4个部分基本
AWstack云管理平台 运维手册
一、云平台故障定位思路 1:介绍云平台定位思路 介绍云平台的故障原因、处理流程和详细的故障处理步骤。 2:常见原因 本类故障的常见原因主要包括： 云平台操作类故障 云平台服务类故障 云平台存储类故障 云平台其它类故障 3:故障诊断流程 针对各类故障的定位思路如下： 参考用户手册，对操作的步骤进行确认； 检查后台各种服务nova 、 neutron、cinder等的状态； 坚持后台存储命令行和前端存储监控界面，坚持存储的状态； 根据故障类库的文档和典型问题的思路过程进行排查。
4.详细处理流程
二、云平台部署类 1.正确刻录部署 U 盘 1.1 下载正确的正式发行版镜像 wget http://192.168.246.1/awstack2/awstack-installer/awstack-installer.img 1.2 将镜像放置一台linux 机器，执行以下操作 # 以下命令非常危险，会抹除sdb 的所有数据，请先用lsblk等命令确认sdb 是 U 盘dd if=awstack-installer.img of=/dev/sdb bs=4M conv=sparse oflag=direct,sync 验证U盘 mount /dev/sdb1 /mnt/ cd /mnt/var/lib/awstack sha256sum -c awstack-init.tar.gz.sha256sum awstack-init.tar.gz: OK 2.部署单节点 SAAS 2.1 准备一台物理机并安装虚拟化环境 2.2 下载发布的SAAS 虚拟机镜像 2.3 基于此镜像起一台虚拟机，并通过控制台登陆此虚拟机招待如下操作 第一步创建eth0 的配置文件 vi/etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 NAME=eth0