DS3400培训教程

认识IBM DS34001SAN - 认识 IBM DS3400 (一)IBM DS3400 是个 4Gbps 的SAN( ,需要透过 IBM 的管理介面,去修改 Host 和 logical Drive 的对应,Server 才能认到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在IBM 的光碟可以找到给 Linux 的管理程式(IBM System Storage DS3000 Storage Manager).不过你可以在 IBM 的官方网站找到新版的程式.目前版本为选择我作业系统的安装版本( Linux ),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在 /opt/IBM_DS3000/,主程式为 /opt/IBM_DS3000/client/SMclient ,不过 IBM 会很贴心的在桌面加上一个捷径,点选2次就可以开始设定.2SAN - 认识 IBM DS3400 (二) 设定 IPIBM DS3400 的管理介面是透过 IBM 管理工具的方式去管控,所以控制端的 IP 需要配合DS3400 ,系统预设的是 Controller 1:/24 ,Controller 2: /24 (两片板的个别 IP,需要同时都和控制端相连,两片 controllers 需要将资料同步),点选桌面的 IBM System Storage DS3000 Storage Manager 2 client 或是执行程式/opt/IBM_DS3000/client/SMclient 就可以开始设定.预设可以直接让系统去 Automatic Discovery ,只要控制端和 DS3400 是相同网段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正确连接到 DS3400 了.点 2 下进入控制介面.右下方的状态代表了目前 Automatic Discovery 的进度.如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段,如果网路环境有可以 DHCP 不如让控制端使用 DHCP 指定 IP 再试试看.因为 DS3400 并没有 comsole 可以登入,所以一开始连不到会很辛苦(不知道有没有 reset 键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下 DS3400 设定成什麽 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我还是预设的 Controller 1:/24 ,Controller 2: /24 这里就可以设定你想要的 IP.不建议以免之後忘记了 IP 是多少!!记得修改 IP 之後最好将 Remove 掉 Storage Subsystem 再重新作连结.3SAN - 认识 IBM DS3400 (三) create Logical Drives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 Logical Drive.就会像是目前看到的样子!!在 Configure / Create Logical Drives 可以建立 Logical Drive.因为 DS3400 主要由4X3 = 12 个实体硬碟(SATA / SAS Hard Drives)组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切割出多个 LUN(Logical Unit Number) 再来指派给需要的 Server.capacity: create a new array and logical drive.capacity: use capacity from an existing array.因为一开始并没有任何的 Array 存在,所以能做的就是 "1" 建立 RAID 和 Logical Drive.选择 Manual 可以让你自己多做一些选择,不过 IBM 还是建议使用 Automatic.依需求来切割,我的环境有 4 个 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 预设是使用全部的空间,我们可以依据需求做修改,比如有2台Server 都需要这空间,我们可以切割不同的2个区块共不同的 Server 来使用(这会在後面介绍).所以硬碟空间不要全部用完.其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复.Server 会依据 Lun 大小来决定硬碟顺序.到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure / Create Logical Drives 还是可以在建立另外的Lun.回到 Summary 就会看到刚刚所做的一些改变.在 Modify / Delete Logical Drives 可以移除刚刚所建立的 RAID.4SAN - 认识 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 组成.每一片上面都有 2 个 fiber ports 可供存取,但是另外一组皆是使用再备援上.所以上面虽然有4个 fiber port 但其实可以和Host 连接的只有2个 fiber port(另两个是备援).如果要提共多组的 Fiber 连结就需要透过 Fiber Switch 的连接方式.下图是在同一台 Host 使用备援的连接方式.图的来源:在未开始之前先确定你的 Server (QLogic 2462 dual port fiber channel)已经连接到 IBM DS3400 如下图,并且 Driver(module) 确定都已经在运行,可以使用#lsmod 来确定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在这边找到因为 Fiber Channel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 设定中,名称是为了方便记忆,还要选择 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以会看到两个 WWPN,先建立第一组 Host.如果你的 Server 需要高可靠度的环境,我们会将多个 Fiber channel 的路径指向同一个Logical Drive.先选择 "No".後面我们才会建立出这样的环境.完成一个 Host!!使用相同的步骤建立出另外一个 Host.note:WWPN如同网卡有 MAC Address(48bits) 作为辨识方式.光纤也是有类似的定址 WWN，World Wide Name:FC 光纤通道的定址 (64 bits),这个光纤通道的 WWN 也像是 MAC 一样每一个出货的 HBA(Host Bus Adapter) 都有他独一无二的 WWN .属於硬体的一部份,无法轻易更改.不过 WWN 还细分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有点不同.1.当你的光纤 HBA 卡有多个 port 时存在(2个以上) 你想针对 HBA 上所有的 port 你应该使用 WWNN2.如果是针对单一个 port 时需要使用 WWPN3.通常会在 Fiber switch 上使用到 multipath 时会针对 WWNN 来设定.Linux 下要看 WWNN / WWPN 可以查看档案 /proc/scsi/qla2xxx/不同的 Fiber HBA 会有不同 Module 这边我使用的是 Qlogic 的 Fiber HBA.[root@benjr ~]#ls -l /proc/scsi/qla2xxx/total 0-rw-r--r-- 1 root root 0 Mar 11 19:04 4-rw-r--r-- 1 root root 0 Mar 11 19:04 5[root@benjr ~]#cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=;#就是 WWNNscsi-qla0-adapter-port=;#就是 WWPN5SAN - 认识 IBM DS3400 (五) Create Host Group企业中 SAN 的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看到下面的图:图的来源:路径是两条的,DS3400在预设是无法将同一颗 logical Drive 硬碟分享给不同的 WWPN,所以需要将不同的 WWPN 设定成一个 Group.这样 Logical Drive 才能同时指派给不同的 WWPN,在 Configure / Create Host Group 可以建立 Host Group.名称是方便记忆,在 Hosts 可以看到刚刚我们设定好的 Host P0 和 P1.将这两个都指派到这个 Group.基本上这样就已经将 Host Group 设定完成,最後就是需要将 Host 和 Logical Drive 做对应(Mapping).在 Modify / Edit Host Topology 可以看到我们所设定的.6SAN - 认识 IBM DS3400 (六) Create Host-to-Logical Drive Mappings前置作业都已经告一段落了,现在需要做的就是将先前定义好的 Host Group 对应(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 选择对应的 Host Group 和 Logival Drive已经定义好的可以在 Modify 的 Edit Host-Logical Drive Mappings 来查看.先前我定义了两颗 Logical Drives 和两个 Host,并将这两个 Host 对应到同一个 Group.目前要将这两颗 Logical Drives 对应到这个 Group.基本上要注意的一点就是 "Assign logical unit number(LUNX0 to 31). Linux 是依据 Luns 值大小来决定硬碟顺序.并且Linux 最大的 Luns 为 0~31(种共32个 Luns),所以在指配时须将这两个 Luns 设为不同的值,不过 IBM DS3400 会自己指定,分配不同数值.可以看到在指派第二颗时他指定的 Lun 变成 "1".回到 Summary 可以看到刚刚指定好的 Hosts & Mappings.现在最後一步就是回到 Server (Linux) ,设定driver(module) 和 multi-path 了!!7SAN - 认识 IBM DS3400 (七) Linux multi-path driver虽然我们在 IBM DS3400 已经设定好了 Host Group 让同一个 Lun 去让不同的 wwpn 存取.所以在 driver 上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是 Qlogic 的 HBA 需要下载的东西有两项 1. Qlogic Driver (Qlogic 图形管理介面) 这两项在 Qlogic 都可以找的到先来看看 Qlogic Driver 是如何使用.虽然 RHEL5 在预设就有配置 Qlogic 的 Driver ,不过这边还是说一下 Qlogic Driver 是怎麽使用.[root@benjr ~]#tar -xvzf *.tgz[root@benjr ~]#cd qlogic[root@benjr qlogic]#./drvrsetup#这会将 source files 档案解开至 qla2xxx 的目录下[root@benjr qlogic]#cd# 将依据实际版本而有所不同[root@benjr install#这是实际在编辑 driver 的 script 程式在 Qlogix 以上的版本已经将 failover(multi-path) 设定为预设值(=1).之前的版本可以在 /etc/ 加入 options qla2xxx ql2xfailover=1 的 failover 参数选项.下次开机或是重新开机会只会看到一个硬碟(Lun).8SAN - 认识 IBM DS3400 (八) 安装 Qlogic SANsurfer下载下来的 SANsurfer 是个 .bin 档在 Linux 可以直接去执行安装.SANsurfer 是一个透过 Java 所写的 x-windows 图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr ~]#./或是[root@benjr ~]#sh一些宣告和重要讯息有兴趣的可以看一看!!通常我们使用预设的全安装 (FC HBA GUI and ALL Agent) 就可以了!!预设安装目录是 /opt/QLogic_Corporation/SANsurfer 没什麽特别情况就不需要再去修改.安装完成了!!勾选 "Enable Qlogic Failover Configuration" 这也是我们最重要要使用的选项.在这边就选择开启程式或是在目录 /opt/QLogic_Corporation/SANsurfer 执行./SANsurfer 皆可!!安装完 SANsurfer 时会启动 qlremote 的服务所以我们无法立即移除 qla2xxx 和qla2xxx_conf 的 module ,所以当你在移除 qla2xxx 或是 qla2xxx_conf 时会出现ERROR: Module qla2xxx is in use. 不用急的关机,先将 qlremote 的服务停止#/etc/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目录/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以将SANsurfer 移除了.9SAN - 认识 IBM DS3400 (九) 透过 SANsurfer 去管理刚刚安装完 qlogic driver 和 SANsurfer 先确定一下相关的 driver 和 service 都启动了.[root@benjr ~]#modprobe qla2xxx[root@benjr ~]#/usr/local/bin/qlremote(or qlremote start)SANsurfer FC HBA Manager (执行 #./SANsurfer) 存放在目录/opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透过远端去连接但目前我的是存放在 Local 本地端.所以选择 "localhost" 如果是远端的可以使用 IP 或是 Hostname 去连结.因为是初次登入所以没有设定过任何资料,我们可以透过 wizard 的方式快速设定或是以手动方式去设.接下来是直接透过 wizard 的方式去设定.这边看到的就是目前我们系统上有两个 Fiber ports 都未初始化过.一次只能设定一个port 所以先将第一个 port 作初始化的设定.下一步可以看到目前 fiber channel 的资讯.包括了 wwnn , wwpn , driver , BIOS , Firmware 等的资讯.对於 connection options 我并不是很了解这些的不同处所以我使用预设的 Loop Only.你已看到 IBM DS3400 指派给 Qlogic 的硬碟一颗(Lun).做一下初始化的工作.在 readme 有提及预设密码为何,如果没经过改变这预设密码值为 "config"工作告一段落了,不过我们是2个 fiber ports 所以相同的步骤在第 2 个 port 需要再做一次.回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连接到 DS3400 的同一个 Lun.。

DS3400培训教程DS3400培训教程是一款专为IBM DS3400存储系统管理员设计的培训教程软件，用于帮助管理员更好地理解和掌握DS3400存储系统的相关知识和操作技巧。

本文将分三个部分详细介绍DS3400培训教程的主要特点、使用方法和培训效果，以及相关的注意事项。

一、DS3400培训教程的主要特点DS3400培训教程具有以下主要特点：1.全面细致的教学内容：DS3400培训教程包含了DS3400存储系统的基础知识、安装、配置、管理和故障排除等细致的教学内容，涵盖了管理员在DS3400存储系统运维过程中需要掌握的全部知识点。

2.清晰易懂的教学实例：DS3400培训教程为每个知识点提供了多个实例，避免了纸上谈兵的教学方式，帮助管理员更好地理解和掌握实际应用场景的操作技巧。

3.交互性强的学习方式：DS3400培训教程采用了互动式学习方式，通过练习题、测试和互动讨论等形式，帮助管理员更好地检验和巩固所学知识。

4.个性化的学习进度和时间：DS3400培训教程允许管理员根据自己的实际情况和需求，自由地选择学习进度和时间，从而更好地达到高效学习和实际应用的目的。

二、DS3400培训教程的使用方法和培训效果DS3400培训教程的使用方法十分简单，管理员只需安装软件后根据提示进行操作即可轻松完成培训，无需额外的设备和人力投入。

教程内容由基础讲解到实战应用，让管理员能够全面掌握DS3400存储系统的基础知识和运维技能，从而更好地应对实际工作中的各种需求和挑战。

通过DS3400培训教程的学习和应用，管理员可以获得以下主要的培训效果：1.全面深入地了解DS3400存储系统的知识和技能，能够熟练操作、管理和维护DS3400存储系统。

2.提高工作效率和精准度，避免操作失误和系统故障，确保数据的安全性和稳定性。

3.增强团队的协作和沟通能力，提高工作的协同性和效率，提高管理者在组织中的影响力。

三、注意事项在使用DS3400培训教程过程中，管理员需要特别注意以下几点：1.在操作DS3400存储系统时，要充分了解存储系统的工作原理和操作规程，不能随意处理存储设备和数据，避免不必要的数据丢失和泄露。

认识 IBMDS34001 SAN-认识 IBMDS3400(一)IBMDS3400 是个 4Gbps 的 SAN(?),需要透过 IBM 的管理介面,去修改 Host 和 logicalDrive 的 对应,Server 才能认到 SAN 所指派的 Lun(LogicalUnitNumber)Disk.通常在 IBM 的光碟可以找 到给 Linux 的管理程式(IBMSystemStorageDS3000StorageManager).不过你可以在 IBM 的官 方网站找到新版的程式.目前版本为?选择我作业系统的安装版本(Linux),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在/opt/IBM_DS3000/,主程式为/opt/IBM_DS3000/client/SMclient,不过 IBM 会 很贴心的在桌面加上一个捷径,点选 2 次就可以开始设定.2 SAN-认识 IBMDS3400(二)设定 IPIBMDS3400 的管理介面是透过 IBM?管理工具的方式去管控,所以控制端的 IP 需要配合 DS3400,系统预设的是 Controller,Controller2:(两片板的个别 IP,需要同时都和控制端相连,两 片 controllers 需要将资料同步),点选桌面的 IBMSystemStorageDS3000StorageManager2client 或是执行程式 /opt/IBM_DS3000/client/SMclient 就可以开始设定.预设可以直接让系统去 AutomaticDiscovery,只要控制端和 DS3400 是相同网段都可以找到. 如果你的 StorageManager 可以看到下面的 StorageSubsystemUnamed.就代表正确连接到 DS3400 了.点 2 下进入控制介面.右下方的状态代表了目前 AutomaticDiscovery 的进度.如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段,如果网路环境有可以 DHCP 不如让控制端使用 DHCP 指定 IP 再试试看.因为 DS3400 并没有 comsole 可以登入, 所以一开始连不到会很辛苦(不知道有没有 reset 键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下 DS3400 设定成什麽 IP,在 Tools/ConfigurationEthernetManagementPorts., 可以看到我还是预设的 Controller,Controller2:这里就可以设定你想要的 IP.不建议以免之後忘 记了 IP 是多少!!记得修改 IP 之後最好将 Remove 掉 StorageSubsystem 再重新作连结.3 SAN-认识 IBMDS3400(三)createLogicalDrives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 LogicalDrive.就会像是目前看到 的样子!!在 Configure/CreateLogicalDrives 可以建立 LogicalDrive.因为 DS3400 主要由 4X3=12 个实 体硬碟(SATA/SASHardDrives)组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切 割出多个 LUN(LogicalUnitNumber)再来指派给需要的 Server.1.Unconfiguredcapacity:createanewarrayandlogicaldrive.2.Freecapacity:usecapacityfromanexistingarray.因为一开始并没有任何的 Array 存在,所以能做的就是"1"建立 RAID 和 LogicalDrive.选择 Manual 可以让你自己多做一些选择,不过 IBM 还是建议使用 Automatic.依需求来切割,我的环境有 4 个 sasHarddrive 我要把他都建成 RAID5.Logicaldrivecapacity 预设是使用全部的空间,我们可以依据需求做修改,比如有 2 台 Server 都 需要这空间,我们可以切割不同的 2 个区块共不同的 Server 来使用(这会在後面介绍).所以硬碟 空间不要全部用完.其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复.Server 会依据 Lun 大小来决定硬碟顺序.到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure/CreateLogicalDrives 还是可以在建立另外的 Lun.回到 Summary 就会看到刚刚所做的一些改变.在 Modify/DeleteLogicalDrives 可以移除刚刚所建立的 RAID.4 SAN-认识 IBMDS3400(四)createHostAccessIBMDS3400 是由 2 片 controlmodules 组成.每一片上面都有 2 个 fiberports 可供存取,但是另 外一组皆是使用再备援上.所以上面虽然有 4 个 fiberport 但其实可以和 Host 连接的只有 2 个 fiberport(另两个是备援).如果要提共多组的 Fiber 连结就需要透过 FiberSwitch 的连接方式.下 图是在同一台 Host 使用备援的连接方式.图的来源:?在未开始之前先确定你的 Server(QLogic2462dualportfiberchannel)已经连接到 IBMDS3400 如下图,并且 Driver(module)确定都已经在运行,可以使用#lsmod 来确定.目前我使用的是 QLogic2462dualportfiberchannel,Driver(module)可以在这边找到?因为 FiberChannel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的 Host(Serverfiberchannel 的 WWNP).在 Configure/ConfigureHostAccess(Manual)设定中,名 称是为了方便记忆,还要选择 Server 的 OS 版本.目前我使用的是 QLogic2462dualportfiberchannel,所以会看到两个 WWPN,先建立第一组 Host.如果你的 Server 需要高可靠度的环境,我们会将多个 Fiberchannel 的路径指向同一个 LogicalDrive.先选择"No".後面我们才会建立出这样的环境.完成一个 Host!!使用相同的步骤建立出另外一个 Host.note:WWPN 如同网卡有 MACAddress(48bits)作为辨识方式.光纤也是有类似的定址 WWN， WorldWideName:FC 光纤通道的定址(64bits),这个光纤通道的 WWN 也像是 MAC 一样每一个 出货的 HBA(HostBusAdapter)都有他独一无二的 WWN.属於硬体的一部份,无法轻易更改.不 过 WWN 还细分了 WWNN:WorldWideNodeName/WWPN:WorldWidePortName 使用上有点 不同. 1.当你的光纤 HBA 卡有多个 port 时存在(2 个以上)你想针对 HBA 上所有的 port 你应该使用 WWNN 2.如果是针对单一个 port 时需要使用 WWPN 3.通常会在 Fiberswitch 上使用到 multipath 时会针对 WWNN 来设定. Linux 下要看 WWNN/WWPN 可以查看档案?/proc/scsi/qla2xxx/?不同的 FiberHBA 会有不同 Module 这边我使用的是 Qlogic 的 FiberHBA.[root@benjr~]#?ls-l/proc/scsi/qla2xxx/ total0 -rw-r--r--1rootroot0Mar1119:044 -rw-r--r--1rootroot0Mar1119:045[root@benjr~]#?cat/proc/scsi/qla2xxx/4 QLogicPCItoFibreChannelHostAdapterforxxxxxxxx: SCSIDeviceInformation:#就是 WWNN#就是 WWPN5 SAN-认识 IBMDS3400(五)CreateHostGroup企业中 SAN 的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看 到下面的图: 图的来源:? 路径是两条的,DS3400 在预设是无法将同一颗 logicalDrive 硬碟分享给不同的 WWPN,所以需 要将不同的 WWPN 设定成一个 Group.这样 LogicalDrive 才能同时指派给不同的 WWPN,在Configure/CreateHostGroup 可以建立 HostGroup.名称是方便记忆,在 Hosts 可以看到刚刚我 们设定好的 HostP0 和 P1.将这两个都指派到这个 Group.基本上这样就已经将 HostGroup 设定完成,最後就是需要将 Host 和 LogicalDrive 做对应 (Mapping).在 Modify/EditHostTopology 可以看到我们所设定的.6 SAN-认识 IBMDS3400(六)CreateHost-to-LogicalDriveMappings前置作业都已经告一段落了,现在需要做的就是将先前定义好的 HostGroup 对应(Mapping)到 LogicalDrive.在 Configure/CreateHost-to-LogicalDriveMappings 选择对应的 HostGroup 和 LogivalDrive已经定义好的可以在 Modify 的 EditHost-LogicalDriveMappings 来查看.先前我定义了两颗 LogicalDrives 和两个 Host,并将这两个 Host 对应到同一个 Group.目前要 将这两颗 LogicalDrives 对应到这个 Group.基本上要注意的一点就是 "Assignlogicalunitnumber(LUNX0to31).Linux 是依据 Luns 值大小来决定硬碟顺序.并且 Linux 最大的 Luns 为 0~31(种共 32 个 Luns),所以在指配时须将这两个 Luns 设为不同的值,不过 IBMDS3400 会自己指定,分配不同数值.可以看到在指派第二颗时他指定的 Lun 变成"1".回到 Summary 可以看到刚刚指定好的 Hosts&Mappings.现在最後一步就是回到 Server(Linux),设定 driver(module)和 multi-path 了!!7 SAN-认识 IBMDS3400(七)Linuxmulti-pathdriver虽然我们在 IBMDS3400 已经设定好了 HostGroup 让同一个 Lun 去让不同的 wwpn 存取.所以 在 driver 上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是 Qlogic 的 HBA 需要下载的东西有两项 1.QlogicDriver?2.SANsurfer(Qlogic 图形管理介面)这 两项在 Qlogic 都可以找的到先来看看 QlogicDriver 是如何使用.虽然 RHEL5 在预设就有配置 Qlogic 的 Driver,不过这边还 是说一下 QlogicDriver 是怎麽使用.[root@benjr~]#?tar-xvzf*.tgz[root@benjr~]#?cdqlogic[root@benjrqlogic]#?./drvrsetup #这会将 sourcefiles 档案解开至 qla2xxx 的目录下[root@benjrqlogic]#?cd将依据实际版本而有所不同[root@benjr?./extras/build.shinstall #这是实际在编辑 driver 的 script 程式在 Qlogix8.x 以上的版本已经将 failover(multi-path)设定为预设值(=1).之前的版本可以在 /etc/modprobe.conf 加入 optionsqla2xxxql2xfailover=1 的 failover 参数选项. 下次开机或是重新开机会只会看到一个硬碟(Lun).8 SAN-认识 IBMDS3400(八)安装 QlogicSANsurfer下载下来的 SANsurfer 是个.bin 档在 Linux 可以直接去执行安装.SANsurfer 是一个透过 Java 所写的 x-windows 图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr~]#?或是[root@benjr~]#?sh一些宣告和重要讯息有兴趣的可以看一看!! 通常我们使用预设的全安装(FCHBAGUIandALLAgent)就可以了!! 预设安装目录是/opt/QLogic_Corporation/SANsurfer 没什麽特别情况就不需要再去修改. 安装完成了!! 勾选"EnableQlogicFailoverConfiguration"这也是我们最重要要使用的选项. 在这边就选择开启程式或是在目录/opt/QLogic_Corporation/SANsurfer 执行./SANsurfer 皆 可!! 安装完 SANsurfer 时会启动 qlremote 的服务所以我们无法立即移除 qla2xxx 和 qla2xxx_conf 的 module,所以当你在移除 qla2xxx 或是 qla2xxx_conf 时会出现 ERROR:Moduleqla2xxxisinuse.不用急的关机,先将 qlremote 的服务停止 #/etc/init.d/qlremotestop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module. 如果要移除 SANsurfer 在目录 /opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以将 SANsurfer 移除了.9 SAN-认识 IBMDS3400(九)透过 SANsurfer 去管理?刚刚安装完 qlogicdriver 和 SANsurfer 先确定一下相关的 driver 和 service 都启动了.1.driver[root@benjr~]#?modprobeqla2xxx2.SANsurfer[root@benjr~]#?/usr/local/bin/qlremote?(orqlremotestart)SANsurferFCHBAManager(执行#./SANsurfer)存放在目录 /opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透过远端去连接但目前我的是存放在 Local 本地端.所以选择"localhost"如果是远端的可以使用 IP 或是 Hostname 去连结.因为是初次登入所以没有设定过任何资料,我们可以透过 wizard 的方式快速设定或是以手动方 式去设.接下来是直接透过 wizard 的方式去设定. 这边看到的就是目前我们系统上有两个 Fiberports 都未初始化过.一次只能设定一个 port 所以 先将第一个 port 作初始化的设定. 下一步可以看到目前 fiberchannel 的资讯.包括了 wwnn,wwpn,driver,BIOS,Firmware 等的资 讯. 对於 connectionoptions 我并不是很了解这些的不同处所以我使用预设的 LoopOnly. 你已看到 IBMDS3400 指派给 Qlogic 的硬碟一颗(Lun).做一下初始化的工作. 在 readme 有提及预设密码为何,如果没经过改变这预设密码值为"config" 工作告一段落了,不过我们是 2 个 fiberports 所以相同的步骤在第 2 个 port 需要再做一次. 回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连 接到 DS3400 的同一个 Lun. SAN-认识 IBMDS3400(二)设定 IP  SAN-认识 IBMDS3400(三)CreateLogicalDrives  SAN-认识 IBMDS3400(四)CreateHostAccess  SAN-认识 IBMDS3400(五)CreateHostGroup  SAN-认识 IBMDS3400(六)CreateHost-to-LogicalDriveMappings  SAN-认识 IBMDS3400(七)Linuxmulti-pathdriver  SAN-认识 IBMDS3400(八)安装 QlogicSANsurfer  SAN-认识 IBMDS3400(九)透过 SANsurfer 去管理。

认识IBM DS34001SAN - 认识 IBM DS3400 (一)IBM DS3400 是个 4Gbps 的SAN(??) ,需要透过 IBM 的管理介面,去修改 Host 和logical Drive 的对应,Server 才能认到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在 IBM 的光碟可以找到给 Linux 的管理程式(IBM System StorageDS3000 Storage Manager).不过你可以在 IBM 的官方网站找到新版的程式.目前版本为 ?选择我作业系统的安装版本( Linux ),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在 /opt/IBM_DS3000/,主程式为/opt/IBM_DS3000/client/SMclient ,不过 IBM 会很贴心的在桌面加上一个捷径,点选2次就可以开始设定.2SAN - 认识 IBM DS3400 (二) 设定 IPIBM DS3400 的管理介面是透过 IBM ?管理工具的方式去管控,所以控制端的 IP 需要配合 DS3400 ,系统预设的是 Controller 1:/24 ,Controller 2: /24 (两片板的个别 IP,需要同时都和控制端相连,两片 controllers 需要将资料同步),点选桌面的 IBM System Storage DS3000 Storage Manager 2 client 或是执行程式/opt/IBM_DS3000/client/SMclient 就可以开始设定.预设可以直接让系统去 Automatic Discovery ,只要控制端和 DS3400 是相同网段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正确连接到 DS3400 了.点 2 下进入控制介面.右下方的状态代表了目前 Automatic Discovery 的进度.如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段,如果网路环境有可以 DHCP 不如让控制端使用 DHCP 指定 IP 再试试看.因为 DS3400 并没有comsole 可以登入,所以一开始连不到会很辛苦(不知道有没有 reset 键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下 DS3400 设定成什麽 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我还是预设的 Controller 1:/24 ,Controller 2: /24 这里就可以设定你想要的 IP.不建议以免之後忘记了 IP 是多少!!记得修改 IP 之後最好将 Remove 掉 Storage Subsystem 再重新作连结.3SAN - 认识 IBM DS3400 (三) create Logical Drives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 Logical Drive.就会像是目前看到的样子!!在 Configure / Create Logical Drives 可以建立 Logical Drive.因为 DS3400 主要由 4X3 = 12 个实体硬碟(SATA / SAS Hard Drives)组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切割出多个 LUN(Logical Unit Number) 再来指派给需要的 Server.capacity: create a new array and logical drive.capacity: use capacity from an existing array.因为一开始并没有任何的 Array 存在,所以能做的就是 "1" 建立 RAID 和Logical Drive.选择 Manual 可以让你自己多做一些选择,不过 IBM 还是建议使用Automatic.依需求来切割,我的环境有 4 个 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 预设是使用全部的空间,我们可以依据需求做修改,比如有2台 Server 都需要这空间,我们可以切割不同的2个区块共不同的 Server 来使用(这会在後面介绍).所以硬碟空间不要全部用完.其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复.Server 会依据 Lun 大小来决定硬碟顺序.到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure / Create Logical Drives 还是可以在建立另外的 Lun.回到 Summary 就会看到刚刚所做的一些改变.在 Modify / Delete Logical Drives 可以移除刚刚所建立的 RAID.4SAN - 认识 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 组成.每一片上面都有 2 个 fiber ports 可供存取,但是另外一组皆是使用再备援上.所以上面虽然有4个 fiber port 但其实可以和 Host 连接的只有2个 fiber port(另两个是备援).如果要提共多组的Fiber 连结就需要透过 Fiber Switch 的连接方式.下图是在同一台 Host 使用备援的连接方式.图的来源:?在未开始之前先确定你的 Server (QLogic 2462 dual port fiber channel)已经连接到 IBM DS3400 如下图,并且 Driver(module) 确定都已经在运行,可以使用 #lsmod 来确定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在这边找到?因为 Fiber Channel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的 Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 设定中,名称是为了方便记忆,还要选择 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以会看到两个 WWPN,先建立第一组 Host.如果你的 Server 需要高可靠度的环境,我们会将多个 Fiber channel 的路径指向同一个 Logical Drive.先选择 "No".後面我们才会建立出这样的环境.完成一个 Host!!使用相同的步骤建立出另外一个 Host.note:WWPN如同网卡有 MAC Address(48bits) 作为辨识方式.光纤也是有类似的定址 WWN，World Wide Name:FC 光纤通道的定址 (64 bits),这个光纤通道的 WWN 也像是 MAC 一样每一个出货的 HBA(Host Bus Adapter) 都有他独一无二的 WWN .属於硬体的一部份,无法轻易更改.不过 WWN 还细分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有点不同.1.当你的光纤 HBA 卡有多个 port 时存在(2个以上) 你想针对 HBA 上所有的port 你应该使用 WWNN2.如果是针对单一个 port 时需要使用 WWPN3.通常会在 Fiber switch 上使用到 multipath 时会针对 WWNN 来设定.Linux 下要看 WWNN / WWPN 可以查看档案? /proc/scsi/qla2xxx/?不同的 Fiber HBA 会有不同 Module 这边我使用的是 Qlogic 的 Fiber HBA.[root@benjr ~]#?ls -l /proc/scsi/qla2xxx/total 0-rw-r--r-- 1 root root 0 Mar 11 19:04 4-rw-r--r-- 1 root root 0 Mar 11 19:04 5[root@benjr ~]#?cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=;#就是 WWNNscsi-qla0-adapter-port=;#就是 WWPN5SAN - 认识 IBM DS3400 (五) Create Host Group企业中 SAN 的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看到下面的图:图的来源:?路径是两条的,DS3400在预设是无法将同一颗 logical Drive 硬碟分享给不同的 WWPN,所以需要将不同的 WWPN 设定成一个 Group.这样 Logical Drive 才能同时指派给不同的 WWPN,在 Configure / Create Host Group 可以建立 Host Group.名称是方便记忆,在 Hosts 可以看到刚刚我们设定好的 Host P0 和 P1.将这两个都指派到这个 Group.基本上这样就已经将 Host Group 设定完成,最後就是需要将 Host 和 Logical Drive 做对应(Mapping).在 Modify / Edit Host Topology 可以看到我们所设定的.6SAN - 认识 IBM DS3400 (六) CreateHost-to-Logical Drive Mappings前置作业都已经告一段落了,现在需要做的就是将先前定义好的 Host Group 对应(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 选择对应的 Host Group 和 Logival Drive已经定义好的可以在 Modify 的 Edit Host-Logical Drive Mappings 来查看.先前我定义了两颗 Logical Drives 和两个 Host,并将这两个 Host 对应到同一个Group.目前要将这两颗 Logical Drives 对应到这个 Group.基本上要注意的一点就是 "Assign logical unit number(LUNX0 to 31). Linux 是依据 Luns 值大小来决定硬碟顺序.并且 Linux 最大的 Luns 为 0~31(种共32个 Luns),所以在指配时须将这两个 Luns 设为不同的值,不过 IBM DS3400 会自己指定,分配不同数值.可以看到在指派第二颗时他指定的 Lun 变成 "1".回到 Summary 可以看到刚刚指定好的 Hosts & Mappings.现在最後一步就是回到Server (Linux) ,设定driver(module) 和 multi-path 了!!7SAN - 认识 IBM DS3400 (七) Linux multi-path driver虽然我们在 IBM DS3400 已经设定好了 Host Group 让同一个 Lun 去让不同的wwpn 存取.所以在 driver 上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是 Qlogic 的 HBA 需要下载的东西有两项 1. Qlogic Driver? (Qlogic 图形管理介面) 这两项在 Qlogic 都可以找的到先来看看Qlogic Driver 是如何使用.虽然 RHEL5 在预设就有配置 Qlogic 的 Driver ,不过这边还是说一下 Qlogic Driver 是怎麽使用.[root@benjr ~]#?tar -xvzf *.tgz[root@benjr ~]#?cd qlogic[root@benjr qlogic]#?./drvrsetup#这会将 source files 档案解开至 qla2xxx 的目录下[root@benjr qlogic]#?cd# 将依据实际版本而有所不同[root@benjr ?./extras/ install#这是实际在编辑 driver 的 script 程式在 Qlogix 以上的版本已经将 failover(multi-path) 设定为预设值(=1).之前的版本可以在 /etc/ 加入 options qla2xxx ql2xfailover=1 的 failover 参数选项.下次开机或是重新开机会只会看到一个硬碟(Lun).8SAN - 认识 IBM DS3400 (八) 安装 Qlogic SANsurfer下载下来的 SANsurfer 是个 .bin 档在 Linux 可以直接去执行安装.SANsurfer 是一个透过 Java 所写的 x-windows 图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr ~]#?./或是[root@benjr ~]#?sh一些宣告和重要讯息有兴趣的可以看一看!!通常我们使用预设的全安装 (FC HBA GUI and ALL Agent) 就可以了!!预设安装目录是 /opt/QLogic_Corporation/SANsurfer 没什麽特别情况就不需要再去修改.?安装完成了!!勾选 "Enable Qlogic Failover Configuration" 这也是我们最重要要使用的选项.在这边就选择开启程式或是在目录 /opt/QLogic_Corporation/SANsurfer 执行./SANsurfer 皆可!!安装完 SANsurfer 时会启动 qlremote 的服务所以我们无法立即移除 qla2xxx 和qla2xxx_conf 的 module ,所以当你在移除 qla2xxx 或是 qla2xxx_conf 时会出现 ERROR: Module qla2xxx is in use. 不用急的关机,先将 qlremote 的服务停止#/etc/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目录/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以将 SANsurfer 移除了.9SAN - 认识 IBM DS3400 (九) 透过 SANsurfer去管理?刚刚安装完 qlogic driver 和 SANsurfer 先确定一下相关的 driver 和 service 都启动了.[root@benjr ~]#?modprobe qla2xxx[root@benjr ~]#?/usr/local/bin/qlremote?(or qlremote start)SANsurfer FC HBA Manager (执行 #./SANsurfer) 存放在目录/opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透过远端去连接但目前我的是存放在 Local 本地端.所以选择 "localhost" 如果是远端的可以使用 IP 或是 Hostname 去连结.因为是初次登入所以没有设定过任何资料,我们可以透过 wizard 的方式快速设定或是以手动方式去设.接下来是直接透过 wizard 的方式去设定.这边看到的就是目前我们系统上有两个 Fiber ports 都未初始化过.一次只能设定一个 port 所以先将第一个 port 作初始化的设定.下一步可以看到目前 fiber channel 的资讯.包括了 wwnn , wwpn , driver , BIOS , Firmware 等的资讯.对於 connection options 我并不是很了解这些的不同处所以我使用预设的 Loop Only.你已看到 IBM DS3400 指派给 Qlogic 的硬碟一颗(Lun).做一下初始化的工作.在 readme 有提及预设密码为何,如果没经过改变这预设密码值为 "config"工作告一段落了,不过我们是2个 fiber ports 所以相同的步骤在第 2 个 port 需要再做一次.回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连接到 DS3400 的同一个 Lun.?SAN - 认识 IBM DS3400 (二) 设定 IPSAN - 认识 IBM DS3400 (三) Create Logical DrivesSAN - 认识 IBM DS3400 (四) Create Host AccessSAN - 认识 IBM DS3400 (五) Create Host GroupSAN - 认识 IBM DS3400 (六) Create Host-to-Logical Drive Mappings SAN - 认识 IBM DS3400 (七) Linux multi-path driverSAN - 认识 IBM DS3400 (八) 安装 Qlogic SANsurferSAN - 认识 IBM DS3400 (九) 透过 SANsurfer 去管理。

从IBM支持Web站点获取文档本《快速安装指南》中提及的IBM System Storage文档位于IBM支持Web站点或存储器子系统随附的支持CD中。

要从IBM支持Web站点获取最新的文档和技术更新，请完成以下步骤：1.转至/servers/storage/support/。

2.在Product Family字段中，单击Select your product下的Disk systems。

3.在Product字段中，根据情况单击IBM System Storage DS3200、IBM System Storage DS3300或IBM System Storage DS3400。

4.单击Go。

5.单击Install and Use选项卡。

安装和配置任务以及从何处获取信息表1提供了大多数DS3000配置共用的安装和配置任务的顺序列表。

安装和配置DS3000存储子系统时，请参阅此表来查找如何完成每个任务的说明文档。

表1.从何处查找DS3200、DS3300和DS3400的安装和配置信息及步骤步骤安装或配置任务从何处查找信息或过程1计划安装v《IBM System Storage DS3200安装、用户和维护指南》v《IBM System Storage DS3300安装、用户和维护指南》v《IBM System Storage DS3400安装、用户和维护指南》2在机架式机箱中安装DS3000存储子系统《机架安装说明》3在机架式机箱中安装EXP3000存储扩展单元4连接存储扩展单元SAS电缆v《IBM System Storage DS3200安装、用户和维护指南》v《IBM System Storage DS3300安装、用户和维护指南》v《IBM System Storage DS3400安装、用户和维护指南》表1.从何处查找DS3200、DS3300和DS3400的安装和配置信息及步骤(续)步骤安装或配置任务从何处查找信息或过程5连接主机系统电缆v 《IBM System Storage DS3200安装、用户和维护指南》v 《IBM System Storage DS3300安装、用户和维护指南》v 《IBM System Storage DS3400安装、用户和维护指南》6开启存储子系统v 《IBM System Storage DS3200安装、用户和维护指南》v 《IBM System Storage DS3300安装、用户和维护指南》v 《IBM System Storage DS3400安装、用户和维护指南》7配置DS3000网络设置《IBM System Storage DS3000Storage Manager V2Microsoft ®Windows ®2003、Linux ®和Novell NetWare 版安装和支持指南》8为光纤网交换机分区（仅针对已连接的光纤通道存储区域网络）请参阅交换机随附的文档。

DS3200/DS3400安装心得及技巧作为DS400产品的更新型号，DS3200和DS3400提供了更强的性能及灵活性，相信会成为今后一两年内的IBM低端存储产品的首选。

DS3200 和DS3400均出自于LSI公司的Engenio系统（DS4000系列的大部分产品也是由Engenio为IBM协议设计及生产，去年Engenio 被LSI收购）。

所以设计思想和结构与DS400（Adapter公司设计）会有较大的不同，管理方式也会与DS4000系列较为接近。

1.DS3000系列均需要在自身上安装不少于4个硬盘。

建议先装上硬盘再上电开机。

2.DS3000系列提供与DS4000系列类似的带内和带外两种管理方法，带外管理的默认IP地址也与DS4000一样，控制器A为192.168.128.101,控制器B为192.168.128.102。

3.本人比较喜欢采用带外管理，将本本网卡设至192.168.128网段后，可以ping通即可。

管理口长时间未起用时需要若干分钟的时候等待管理接口工作。

4.在本本上安装DS3000 Storage Manager（随机附带），注意该SM与DS4000上的Storage Manager为不同程序，不可替换使用。

甚至不能在一台机器上共存。

5.打开Storage Manager后，首先需要发现设备，可以ping通控制器后，发现工作会非常容易。

6.双击发现的设备就可以进入该设备的管理界面，学名叫SubsystemManagement。

7.Subsystem Management分为5个大项，Summary，Configure，Modify，Tools，Support。

8.常规的操作这里不再详述，如果你装过DS4000产品，应该对配置方法不会感到陌生。

9.当然Storage Manager里只提供一些常规功能，在遇到问题的时候，比如需要重置手动清零时在该程序里无法完成的，所以与DS4000产品一样，提供了Script 的方式，运行Script有两种方法。

在笔记本上安装好Storage Manager以后，用out-of-band的方式来管理DS3400。

DS3400有两个Controller，Controler A的MGMT地址是192.168.128.101，Controller B的MGMT地址为192.168.128.102，用笔记本连接一根网线到Controller A的MGMT口，IP地址设置为192.168.128.199，子网掩码255.255.255.0，然后去ping Controller的地址，看是否能ping通能正常ping通，现在开始运行Storage Manager来管理DS3400上图就是Storage Manager的初始界面，xulei是本地计算机名，在“xulei”上单击鼠标右键，选择“Add Storage Subsystem”在Controller处，填写DS3400 MGMT的地址，即192.168.128.101，然后点击“Add”（因为现在只连接了一个Controller，所以只填写一个Controller的地址。

如果要把两个Controller的地址都填上去，需要将两个Controller的MGMT口都接在交换机上，和笔记本在一个网络内）然后出现以下提示（DS3400是双控，但当前只连接到其中一个Controller，所以只添加这个Controller即可），选择“Yes”提示添加成功，是否要添加另一个，选择”No”然后在管理主界面就会出现刚发现的DS3400,在Storage Subsystem Unamed上单击鼠标右键,选择”Rename”可以对存储进行改名设置,这里我们将它改名为DS3400然后在主界面,单击鼠标右键,选择”Manage Storage Subsystem”来管理存储,可以配置Array，Logical Driver，Hot Spare，Mapping Host等首先打开的是Summary界面,可以预览此台存储的信息将DS3400的两个Controller都接到交换机之前，我们先把两个Controller的默认IP地址更改一下，点击“TOOLS”然后选择“Configure Ethernet Management Ports”先更改Controller A地址再更改Controller B地址两个Controller的地址更改后，把他们接到交换机上，再把笔记本的IP地址改成10.200 45.32，接到交换机上，然后去ping两个Controller的地址，可以看到刚才的更改已经生效了X3650服务器上装了两块HBA卡，每块卡都通过一根光纤连接到DS3400的一个Controller上的FC Port，现在我们来看DS3400是否能发现服务器，在管理主页点“Congifure”，然后选择Configure Host Access（Manual）输入主机名，和选择系统版本已经发现服务器上的两块HBA卡，把他们添加进去添加好后，点NEXT，然后选择NO此台主机不和其他的主机共享logical drives，然后点击NEXT这是对刚才所添加的主机的预览点击finish后，出现下面提示主机创建成功，并选择NO，不创建另一台主机接下来，在配置主页面，点“Configure”后，选择Create Arrays and logical Drives先来创建Array选中“Arrya”后，点击“NEXT”输入Array名称，选择Manual后点击“NEXT”在RAID LEVEL选择RAID 1，然后选择存储上slot 1- solt 10这10块硬盘做RAID 1，选择Calculate后，可看到计算出来的Array的容量，然后点击finish出现以下提示，Array创建成功。