OceanStor UltraPath for Linux多路径介绍

浪潮存储平台系统多路径软件用户手册文档版本发布日期适用版本系统自带多路径的所有版本尊敬的用户：衷心感谢您选用浪潮存储！浪潮存储秉承“云存智用运筹新数据”的新存储之道，致力于为您提供符合新数据时代需求的存储产品和解决方案。

本手册用于帮助您更详细地了解和便捷地使用本存储，涉及的截图仅为示例，最终界面请以实际设备显示的界面为准。

由于产品版本升级或其他原因，本手册内容会不定期进行更新，如有变动恕不另行通知。

除非另有约定，本手册仅作为使用指导，本手册中的所有陈述、信息和建议不构成任何明示或暗示的担保。

浪潮拥有本手册的版权，保留随时修改本手册的权利。

未经浪潮许可，任何单位和个人不得以任何形式复制本手册的内容。

如果您对本手册有任何疑问或建议，请向浪潮电子信息产业股份有限公司垂询。

技术服务电话：4008600011地址：中国济南市浪潮路1036号浪潮电子信息产业股份有限公司邮编：250101在您正式使用本存储之前，请先阅读以下声明。

只有您阅读并且同意以下声明后，方可正式开始使用本存储。

如果您对以下声明有任何疑问，请和您的供货商联系或直接与我们联系。

如您在开始使用本系统前未就以下声明向我们提出疑问，则默认您已经同意了以下声明。

1.请不要自行拆卸本存储的机箱及机箱内任何硬件设备。

在本存储出现任何硬件故障或您希望对硬件进行任何升级时，请您将机器的详细硬件配置反映给我们的客户服务中心。

2.请不要将本存储的设备与任何其他型号的相应设备混用。

本存储的内存、CPU、CPU散热片、风扇、硬盘托架、硬盘等都是特殊规格的。

3.在使用本存储时遇到任何软件问题，请您首先和相应软件的提供商联系。

由提供商和我们联系，以方便我们共同沟通和解决您遇到的问题。

对于数据库、网络管理软件或其他网络产品的安装、运行问题，我们尤其希望您能够这样处理。

4.上架安装本存储前，请先仔细阅读相关产品手册中的快速安装指南。

我们致力于产品功能和性能的持续提升，部分功能及操作与手册描述可能会有所差异，但不会影响使用。

LINUX 自带多路径详解一、多路径解释多路径，顾名思义就是有多种选择的路径。

在SAN 或IPSAN 环境，主机和存储之间外加了光纤交换机，这就导致主机和存储之间交换速度和效率增强，一条路径肯定是不行的，也是不安全不稳定的。

多路径就是要来解决从主机到磁盘之间最快，最高效的问题。

主要实现如下几个功能1. 故障的切换和恢复2. IO 流量的负载均衡3. 磁盘的虚拟化多路径之前一直是存储厂商负责解决，竟来被拆分出来单独卖钱了。

构架基本是这样的：存储，多路径软件，光纤交换机，主机，主机系统。

二、LINUX 下的multipath1、查看是否自带安装？1 2 3 4 5 6 [root@web2 multipath]# rpm -qa|grep devicedevice-mapper-1.02.39-1.el5device-mapper-1.02.39-1.el5device-mapper-multipath-0.4.7-34.el5device-mapper-event-1.02.39-1.el5[root@web2 multipath]#2、安装1 2 3 4 5 6 rpm -ivh device-mapper-1.02.39-1.el5.rpm #安装映射包 rpm -ivh device-mapper-multipath-0.4.7-34.el5.rpm #安装多路径包 外加加入开机启动 chkconfig –level 2345 multipathd on #设置成开机自启动multipathd lsmod |grep dm_multipath #来检查安装是否正常3、配置1 2 # on the default devices.blacklist {3 4 5 6 7 8 9 10 11 12 13 14 devnode '^(ram|raw|loop|fd|md|dm-|sr|sr|scd|st)[0-9]*'devnode '^hd[a-z]'}devices {device {vendor 'HP'path_grouping_policy multibusfeatures '1 queue_if_no_path'path_checker readsector()failback immediate}}完整的配置如下：blacklist {devnode '^sda'}defaults {user_friendly_names no}multipaths {multipath {wwid 14945540000000000a67854c6270b4359c 66c272e2f356321alias iscsi-dm0path_grouping_policy multibuspath_checker turpath_selector 'round-robin 0'}multipath {wwid 14945540000000000dcca2eda91d70b81e dbcfce2357f99eealias iscsi-dm1path_grouping_policy multibuspath_checker turpath_selector 'round-robin 0'}multipath {wwid 1494554000000000020f763489c16556110 1813333957ed96alias iscsi-dm2path_grouping_policy multibuspath_checker turpath_selector 'round-robin 0'}multipath {wwid 14945540000000000919ca813020a19542 2ba3663e1f03cc3alias iscsi-dm3path_grouping_policy multibuspath_checker turpath_selector 'round-robin 0'}}devices {device {vendor 'iSCSI-Enterprise'product 'Virtual disk'path_grouping_policy multibusgetuid_callout '/sbin/scsi_id -g -u -s /block/%n'path_checker readsector0path_selector 'round-robin 0'}}4、命令1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 2[root@web2 ~]# multipath -hmultipath-tools v0.4.7 (03/12, 2006)Usage: multipath [-v level] [-d] [-h|-l|-ll|-f|-F|-r] [-pfailover|multibus|group_by_serial|group_by_prio][device] -v level verbosity level0 no output1 print created devmap names only2 defau lt verbosity3 print debug information-h print this usage text -b file bindings file location-d dry run, do not create or update devmaps-l show multipath topology (sysfs and DM info)-ll show multipath topology (maximum info)-f flush a multipath device map-F flush all multipath device maps-r force devmap reload -p policy force all maps to specified policy :failover 1 path per priority groupmultibus all paths in 1 priority groupgroup_by_serial 1 priority group per serialgroup_by_prio 1 priority group per priority lvl4 25 26 27 28 293group_by_node_name 1 priority group per target nodedevice limit scope to the device's multipath(udev-style $DEVNAME reference, eg /dev/sdbor major:minor or a device map name)[root@web2 ~]#5、启动关闭1 2 3 4 # /etc/init.d/multipathd start #开启mulitipath 服务 service multipath startservice multipath restartservice multipath shutdown6、如何获取wwid1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1、[root@vxfs01 ~]# cat /var/lib/multipath/bindings# Multipath bindings, Version : 1.0# NOTE: this file is automatically maintained by the multipath program.# You should not need to edit this file in normal circumstances. ## Format:# alias wwid#mpath0 36006016051d50e0035744871c912de11mpath1 36006016051d50e0034744871c912de11mpath2 36006016051d50e0032744871c912de11mpath3 36006016051d50e0039744871c912de11mpath4 36006016051d50e003a744871c912de112、[root@vxfs01 ~]# multipath -v3 |grep 3600sdb: uid = 36006016051d50e003a744871c912de11 (callout)sdc: uid = 36006016051d50e003a744871c912de11 (callout)sdd: uid = 36006016051d50e003a744871c912de11 (callout)sde: uid = 36006016051d50e003a744871c912de11 (callout)36006016051d50e003a744871c912de11 1:0:0:0 sdb 8:16 0 [undef][ready] DGC,RAI36006016051d50e003a744871c912de11 1:0:1:0 sdc25 26 8:32 1 [undef][ready] DGC,RAI36006016051d50e003a744871c912de11 2:0:0:0 sdd 8:48 1 [undef][ready] DGC,RAI36006016051d50e003a744871c912de11 2:0:1:0 sde 8:64 0 [undef][ready] DGC,RAIFound matching wwid [36006016051d50e003a744871c912de11] in bindings file.比较详细的文字：/blog/static/1007689142013416111534352//wuweilong/article/details/14184097 RHEL 官网资料：/wp-content/uploads/downloads/2013/11/Red_Hat_Enterprise_Linux -5-DM_Multipath-en-US.pdf/wp-content/uploads/downloads/2013/11/Red_Hat_Enterprise_Linux -5-DM_Multipath-zh-CN.pdf/wp-content/uploads/downloads/2013/11/Red_Hat_Enterprise_Linux -6-DM_Multipath-en-US.pdf/wp-content/uploads/downloads/2013/11/Red_Hat_Enterprise_Linux -6-DM_Multipath-zh-CN.pdf。

华为 Dorado6000 存储基于数据库场景的重删压缩配置指南数据库作为一种典型的业务场景，在企业应用中占据着重要地位，而数据库中存储的数据也是企业的核心资产之一。

随着业务的不断增长，企业的业务数据也呈现爆炸式的增长，需要存储的数据越来越多。

目录1概述 (3)1.1内容简介 (3)1.2面向读者 (3)1.3用户收益 (3)1.4关键组件 (3)1.5负载模型 (4)2适用场景 (5)2.1适用场景 (5)2.2注意事项 (5)3OLTP 场景配置存储压缩特性 (6)3.1解决方案 (6)3.1.1方案架构 (6)3.1.2硬件配置 (6)3.1.3软件配置 (7)3.1.4存储配置 (7)3.2验证步骤 (8)3.2.1环境部署 (8)3.2.2数据压缩效果测试 (9)4 附录 (14)4.1参考文档 (14)4.2术语表 (14)1 概述1.1内容简介华为OceanStor Dorado6000 V3 全闪存存储系统(以下简称Dorado6000 V3)智能数据重删和智能数据压缩特性（SmartDedupe&SmartCompression）旨在减少冗余数据占用的存储空间，提高存储系统的传输、处理和存储效率。

本文介绍在数据库场景下，如何利用Dorado6000 V3 系列存储的智能数据压缩特性以及利用该特性所达到的数据缩减效果。

1.2面向读者本文档主要面向以下类型读者，使其了解华为OceanStor Dorado V3 全闪存存储产品及其重删压缩特性。

●华为员工●合作伙伴●客户1.3用户收益通过使用Dorado6000 V3 的重删压缩特性，能够有效的减少数据库业务中在存储上产生的数据量，提高空间利用率。

1.4关键组件本文中描述的内容主要基于以下硬件和软件。

硬件：●华为Dorado6000 V3 全闪存存储系统V300R100C00 版本●华为RH2288V2 服务器软件：●UltraPath for Linux：8.01.024 多路径软件●Oracle Database 11.2.0.4 数据库软件●Oracle RAC 11.2.0.4 集群软件●SLOB2.2 测试工具操作系统：●Red Hat Enterprise Linux 6.51.5负载模型本文使用业界通用的SLOB（Silly Little Oracle Benchmark）测试工具模拟了Oracle OLTP（Online Transaction Processing）业务负载模型。

华为 OceanStor F 面向 Oracle 数据库OLTP 场景的最佳实践此文档针对华为 OceanStor F V5 存储配套 Oracle 数据库进行阐述。

聚焦如何高效利用 OceanStor F V5 存储进行 Oracle 数据库业务部署，并针对企业用户场景下的 Oracle 的在线联机事务处理（OLTP）业务，进行了一系列的验证，通过参考该最佳实践，可以获得更好的业务部署效率和业务运营质量，有效保障Oracle 数据库的性能和可用性。

目录1概述 (4)1.1内容简介 (4)1.2写作目的 (4)1.3面向读者 (4)1.4用户收益 (5)1.5关键组件 (5)1.6业务场景 (5)1.7负载模型 (5)2华为技术与产品 (6)2.1OceanStor F V5 产品介绍 (6)2.2OceanStor UltraPath 多路径软件 (7)3Oracle 数据库介绍 (8)3.1.1Oracle RAC and ASM (8)3.1.2Oracle 体系架构 (10)3.1.3OLTP 业务类型 (12)4Oracle 规划配置最佳实践 (13)4.1SAN 组网 (13)4.1.2 划分Zone 或vLAN (14)4.2存储配置 (14)4.2.1硬盘域 (14)4.2.2存储池 (15)4.2.3多租户 (15)4.2.4LUN (16)4.2.5映射视图 (16)4.3主机配置 (17)4.3.1队列深度 (17)4.3.2I/O 对齐 (17)4.3.3块设备调度算法 (18)4.3.4多路径设置 (18)4.3.5绑定盘符 (19)4.3.6配置HugePage (19)4.4数据库配置 (20)4.4.1数据库参数 (20)4.4.2ASM 磁盘组 (21)4.4.3在线日志 (21)4.4.4UNDO 表空间调整 (22)4.4.5临时表空间调整 (22)4.4.6归档和备份 (22)5Oracle 规划配置示例 (23)5.1方案架构 (23)5.1.1组网图 (23)5.1.2方案组件 (24)5.2存储配置 (25)5.3主机配置 (26)5.4数据库配置 (26)6Oracle 性能测试方案 (28)6.1测试策略 (28)6.2测试过程 (29)6.2.1加载测试数据 (29)6.2.2测试步骤 (29)6.3测试结果 (34)7Oracle 场景重删压缩特性 (35)7.1业务场景 (35)7.2特性描述 (35)7.2.1在线重删 (36)7.2.2数据压缩 (36)7.3压缩比测试 (36)7.3.1开启压缩 (36)7.3.2测试过程 (37)7.3.3测试结果 (38)8 总结 (39)9 术语表 (40)1 概述1.1内容简介华为OceanStor F V5 全闪存存储（下文简称F V5 存储）是华为根据存储产品应用现状和存储技术未来发展趋势，推出的新一代一体化融合存储产品，能够满足大中型企业用户对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于使用的要求。

OceanStor T Series Unified StorageHighlightscationUnified SAN and NAS: Supports SAN and NAS storage protocols, structured and non-structured data within one storage system Unified protocols: Compatible with various storage networks and protocols, including iSCSI, FC, NFS, CIFS, HTTP, and FTPGUI-based central storage management:Provides a graphical user interface for central management of fi les and data blocks. The wizards guide users through every con fi gurationFlexibility and ReliabilityUpgrade: Users can easily upgrade block-level storage to uni fi ed storage Hot swapping modules: Users can hot-swap controllers, fans, power supplies, I/O modules, and hard disks without compromising ongoing user servicesDiversified disk types: Supports SAS, NL SAS, SATA, FC and SSD disks, tting into various scenariosReliable architecture: Full component redundancy prevents single points of failure. Data coffer and fi le system mirror improve system reliability Advanced I/O port scalability and flexibility: Supports up to 12ModelS2600TS5500TS5600TS5800TBlock Storage Component Storage processor Multi-core processors Cache size8GB/16GB 8GB/16GB/32GB 24GB/48GB 96GB/192GB Extended cache1.2TB 1.2TB2.4TB3.6TBNumber of controllers 2Front-end port types 8Gbps FC, 1Gbps iSCSI, 10Gbps Iscsi(TOE)8Gbps FC, 1Gbps iSCSI, 10Gbps iSCSI (TOE), 10Gbps FCoE Back-end port types 6Gbps SAS 2.0 wide port 6Gbps SAS 2.0 wide port 4Gbps FC,6Gbps SAS 2.0 wide port 4Gbps FC,6Gbps SAS 2.0 wide port Number of onboard I/O ports Front end: 12 x 1 Gbps iSCSI ports;Back end: 4 x SAS 2.0 wide ports Front end: 8 x 8 Gbps Fibre Channel ports;Back end: 4 x SAS 2.0 wide ports 00Maximum. number of I/O modules221012Maximum number of disk slots 27652811521440Supported disk types SAS, NL SAS, SATA, SSD SAS, NL SAS, SATA, SSD SAS, NL SAS, SATA, SSD,FC SAS, NL SAS, SATA, SSD,FC RAID levels0,1, 3, 5, 6, 10, 50Maximum number of snapshots 256102420482048Maximum number of LUNs 2048409640968192Mobile Management Supported.N/A N/A N/A TurboModule Supported.Functional software HyperImage (snapshot),HyperCopy (LUN copy), HyperClone (split mirror), HyperMirror (synchronous/asynchronous remote replication), HyperThin (thin provisioning), UltraPath (multipathing), DiskGuard (host-side data protection), SmartCache (dynamic data caching in TurboBoost)File Storage Component Number of file engine nodes 22, 42, 4, 62, 4, 6, 8Cache size per node 16GB 16GB 24GB 24GB File softwareDST (dynamic storage tiering), Snapshot (file system snapshot), Mirror (file system mirror),Replication (file system remote replication), Symantec NetBackup Client (embedded Symantec network backup client)ProtocolFC, iSCSI, NFS, CIFS, FTP , HTTPCompatible operating system Including AIX, HP-UX, Solaris, Linux, WindowsVirtual Environment Virtual machine VMware, Citrix, Hyper-VValue-added feature VMware VAAI support for VSphere and VCenter integrationPhysical Specifications Power supplyAC: 100 V to 127 V, or 200 V to 240 V DC: –60 V to –48 VArray power consumption 2 U controller enclosure: ≤380W4 U controller enclosure: ≤527W2 U controller enclosure: ≤ 539W2 U disk enclosure: ≤307W4 U disk enclosure: ≤ 527W4 U controller enclosure: ≤598W 2 U disk enclosure: ≤307W 4 U disk enclosure: ≤527W File engine power consumption 4 U file engine: ≤ 800WArray dimensions (H x W x D)2 U controller enclosure: 86.1mm x 446mm x 582mm 4 U controller enclosure: 175mm x 446mm x 502mm 4 U disk enclosure: 175mm%446mm%412mm 2 U disk enclosure: 86.1mm x 446mm x 412mm 4 U disk enclosure: 175mm x 446mm x 412mm File engine dimensions (H x W x D) 4 U, 175mm x 446mm x 502mmWeight2U Controller enclosure≤ 22.98kg4U Disk enclosure ≤ 25.2kgController enclosure ≤ 23.9kg 2 U SAS disk enclosure ≤ 14.9kg 4 U SAS disk enclosure≤ 25.2kg Controller enclosure ≤ 43.6kg2 U SAS disk enclosure ≤ 14.9kg4 U SAS disk enclosure ≤ 25.2kg4 U FC disk enclosure ≤ 24.9kgTechnical Speci ficationsHUAWEI TECHNOLOGIES CO., LTD.Huawei Industrial BaseBantian LonggangShenzhen 518129, P .R. ChinaTel: +86-755-28780808Copyright © Huawei Technologies Co., Ltd. 2013. All rights reserved.THIS DOCUMENT IS FOR INFORMATION PURPOSE ONLY, AND DOES NOT CONSTITUTE ANY KIND OF WARRANTIES.。

网院服务器OS安装指南红旗AS3 系列：一、OS安装安装系统盘（包括LVM分区）；安装工具盘（包括输入“服务号”）；二、启动sshd服务；将sshd服务注册为开机启动chkconfig –level 35 sshd on；修改/etc/ssh/sshd_conf，将PermitRootLogin no 改为yes；三、启动X11服务进入目录：/usr/share/config/kdm（1）修改文件:Xaccess* #any host can get a login window（去掉#）（2）修改文件:kdmrc[Xdmcp]Enable=trueport=177（3）运行命令：init 5四、网络配置配置互联网段IP地址eth0；（如10.10.200.31）配置存储段IP地址eht1；（如192.168.100.45）通过bondtool绑定eth2、eth3，并在/etc/rc.local中增加service network restart；配置心跳段IP地址；（如10.10.201.31）五、浪潮存储多路径配置上传rdac*.tar.gz；解压tar zxvf rdac*.tar.gz；进入Linux*目录；执行make；执行make install；修改/etc/grub.conf，将其中的init-2.6.18-194.1.AXS3.img改为mpp-2.6.18-194.1.AXS3.img；重启OS；六、华为存储多路径配置1、uname-a查看linux版本（Redflag AS3 SP3/SP4 均支持），需找版本相对应的多路径软件。

2、OceanStor_UltraPath_V100R006C00SPC201_LinuxOther.zip文件上传到linux任意目录。

3、Unzip OceanStor_UltraPath_V100R006C00SPC201_LinuxOther.zip 里面会有一个install.sh的文件4、更改权限chmod +x install.sh5、执行安装sh install.sh 或者./执行也可以(1)---选择FC（根据实际情况选择）(2)--选择1 local6、Reboot重启;7、重启完毕后，执行hot_add命令即可。

华为 OceanStor F 面向 Oracle 数据库OLAP 场景的最佳实践此文档针对华为OceanStor F V5 存储配套Oracle数据库进行阐述。

聚焦如何高效利用OceanStor F V5 存储进行Oracle数据库业务部署，并针对企业用户场景下的Oracle的在线联机分析处理OLAP业务，进行了一系列的验证，通过参考该最佳实践，可以获得更好的业务部署效率和业务运营质量，有效保障Oracle 数据库的性能和可用性。

目录1概述 (4)1.1内容简介 (4)1.2写作目的 (4)1.3面向读者 (4)1.4用户收益 (5)1.5关键组件 (5)1.6业务场景 (5)1.7负载模型 (5)2华为技术与产品 (7)2.1OceanStorFV5产品介绍 (7)2.2OceanStorUltraPath 多路径软件 (8)3Oracle数据库介绍 (9)3.1.1Oracle RACandASM (9)3.1.2Oracle 体系架构 (11)3.1.3OLAP业务类型 (13)4Oracle规划配置最佳实践 (14)4.1SAN组网 (14)4.1.1划分Zone 或vLAN (16)4.2存储配置 (16)4.2.1硬盘域 (16)4.2.2存储池 (17)4.2.3多租户 (17)4.2.4LUN (18)4.2.5映射视图 (18)4.3主机配置 (19)4.3.1队列深度 (19)4.3.2I/O对齐 (19)4.3.3块设备调度算法 (20)4.3.4多路径设置 (20)4.3.5绑定盘符 (21)4.3.6配置HugePage (21)4.4数据库配置 (22)4.4.1数据库参数 (22)4.4.2在线日志 (23)4.4.3UNDO 表空间调整 (24)4.4.4临时表空间调整 (24)4.4.5归档和备份 (24)5Oracle规划配置示例 (25)5.1方案架构 (25)5.1.1组网图 (25)5.1.2方案组件 (26)5.2数据库规划 (27)5.3存储配置 (27)5.4主机配置 (28)5.4.1安装配置操作系统 (28)5.4.2创建ETL区域文件系统 (30)5.5数据库配置 (31)6Oracle性能测试方案 (33)6.1测试策略 (33)6.2测试过程 (33)6.2.1加载测试数据 (33)6.2.2测试步骤 (34)6.3测试结论 (39)7 总结 (40)8 术语表 (41)1概述1.1内容简介随着数据库技术的广泛使用，企业信息系统产生大量的数据，如何快速从海量数据中提取出对企业决策有用的信息成为企业决策管理人员所面临的重要难题之一，如何加速OLAP 应用中复杂的查询分析正是难题的关键所在。