认识IBM DS34001SAN - 认识 IBM DS3400 (一)IBM DS3400 是个 4Gbps 的SAN( ,需要透过 IBM 的管理介面,去修改 Host 和 logical Drive 的对应,Server 才能认到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在IBM 的光碟可以找到给 Linux 的管理程式(IBM System Storage DS3000 Storage Manager).不过你可以在 IBM 的官方网站找到新版的程式.目前版本为选择我作业系统的安装版本( Linux ),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在 /opt/IBM_DS3000/,主程式为 /opt/IBM_DS3000/client/SMclient ,不过 IBM 会很贴心的在桌面加上一个捷径,点选2次就可以开始设定.2SAN - 认识 IBM DS3400 (二) 设定 IPIBM DS3400 的管理介面是透过 IBM 管理工具的方式去管控,所以控制端的 IP 需要配合DS3400 ,系统预设的是 Controller 1:/24 ,Controller 2: /24 (两片板的个别 IP,需要同时都和控制端相连,两片 controllers 需要将资料同步),点选桌面的 IBM System Storage DS3000 Storage Manager 2 client 或是执行程式/opt/IBM_DS3000/client/SMclient 就可以开始设定.预设可以直接让系统去 Automatic Discovery ,只要控制端和 DS3400 是相同网段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正确连接到 DS3400 了.点 2 下进入控制介面.右下方的状态代表了目前 Automatic Discovery 的进度.如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段,如果网路环境有可以 DHCP 不如让控制端使用 DHCP 指定 IP 再试试看.因为 DS3400 并没有 comsole 可以登入,所以一开始连不到会很辛苦(不知道有没有 reset 键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下 DS3400 设定成什麽 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我还是预设的 Controller 1:/24 ,Controller 2: /24 这里就可以设定你想要的 IP.不建议以免之後忘记了 IP 是多少!!记得修改 IP 之後最好将 Remove 掉 Storage Subsystem 再重新作连结.3SAN - 认识 IBM DS3400 (三) create Logical Drives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 Logical Drive.就会像是目前看到的样子!!在 Configure / Create Logical Drives 可以建立 Logical Drive.因为 DS3400 主要由4X3 = 12 个实体硬碟(SATA / SAS Hard Drives)组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切割出多个 LUN(Logical Unit Number) 再来指派给需要的 Server.capacity: create a new array and logical drive.capacity: use capacity from an existing array.因为一开始并没有任何的 Array 存在,所以能做的就是 "1" 建立 RAID 和 Logical Drive.选择 Manual 可以让你自己多做一些选择,不过 IBM 还是建议使用 Automatic.依需求来切割,我的环境有 4 个 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 预设是使用全部的空间,我们可以依据需求做修改,比如有2台Server 都需要这空间,我们可以切割不同的2个区块共不同的 Server 来使用(这会在後面介绍).所以硬碟空间不要全部用完.其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复.Server 会依据 Lun 大小来决定硬碟顺序.到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure / Create Logical Drives 还是可以在建立另外的Lun.回到 Summary 就会看到刚刚所做的一些改变.在 Modify / Delete Logical Drives 可以移除刚刚所建立的 RAID.4SAN - 认识 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 组成.每一片上面都有 2 个 fiber ports 可供存取,但是另外一组皆是使用再备援上.所以上面虽然有4个 fiber port 但其实可以和Host 连接的只有2个 fiber port(另两个是备援).如果要提共多组的 Fiber 连结就需要透过 Fiber Switch 的连接方式.下图是在同一台 Host 使用备援的连接方式.图的来源:在未开始之前先确定你的 Server (QLogic 2462 dual port fiber channel)已经连接到 IBM DS3400 如下图,并且 Driver(module) 确定都已经在运行,可以使用#lsmod 来确定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在这边找到因为 Fiber Channel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 设定中,名称是为了方便记忆,还要选择 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以会看到两个 WWPN,先建立第一组 Host.如果你的 Server 需要高可靠度的环境,我们会将多个 Fiber channel 的路径指向同一个Logical Drive.先选择 "No".後面我们才会建立出这样的环境.完成一个 Host!!使用相同的步骤建立出另外一个 Host.note:WWPN如同网卡有 MAC Address(48bits) 作为辨识方式.光纤也是有类似的定址 WWN，World Wide Name:FC 光纤通道的定址 (64 bits),这个光纤通道的 WWN 也像是 MAC 一样每一个出货的 HBA(Host Bus Adapter) 都有他独一无二的 WWN .属於硬体的一部份,无法轻易更改.不过 WWN 还细分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有点不同.1.当你的光纤 HBA 卡有多个 port 时存在(2个以上) 你想针对 HBA 上所有的 port 你应该使用 WWNN2.如果是针对单一个 port 时需要使用 WWPN3.通常会在 Fiber switch 上使用到 multipath 时会针对 WWNN 来设定.Linux 下要看 WWNN / WWPN 可以查看档案 /proc/scsi/qla2xxx/不同的 Fiber HBA 会有不同 Module 这边我使用的是 Qlogic 的 Fiber HBA.[root@benjr ~]#ls -l /proc/scsi/qla2xxx/total 0-rw-r--r-- 1 root root 0 Mar 11 19:04 4-rw-r--r-- 1 root root 0 Mar 11 19:04 5[root@benjr ~]#cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=;#就是 WWNNscsi-qla0-adapter-port=;#就是 WWPN5SAN - 认识 IBM DS3400 (五) Create Host Group企业中 SAN 的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看到下面的图:图的来源:路径是两条的,DS3400在预设是无法将同一颗 logical Drive 硬碟分享给不同的 WWPN,所以需要将不同的 WWPN 设定成一个 Group.这样 Logical Drive 才能同时指派给不同的 WWPN,在 Configure / Create Host Group 可以建立 Host Group.名称是方便记忆,在 Hosts 可以看到刚刚我们设定好的 Host P0 和 P1.将这两个都指派到这个 Group.基本上这样就已经将 Host Group 设定完成,最後就是需要将 Host 和 Logical Drive 做对应(Mapping).在 Modify / Edit Host Topology 可以看到我们所设定的.6SAN - 认识 IBM DS3400 (六) Create Host-to-Logical Drive Mappings前置作业都已经告一段落了,现在需要做的就是将先前定义好的 Host Group 对应(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 选择对应的 Host Group 和 Logival Drive已经定义好的可以在 Modify 的 Edit Host-Logical Drive Mappings 来查看.先前我定义了两颗 Logical Drives 和两个 Host,并将这两个 Host 对应到同一个 Group.目前要将这两颗 Logical Drives 对应到这个 Group.基本上要注意的一点就是 "Assign logical unit number(LUNX0 to 31). Linux 是依据 Luns 值大小来决定硬碟顺序.并且Linux 最大的 Luns 为 0~31(种共32个 Luns),所以在指配时须将这两个 Luns 设为不同的值,不过 IBM DS3400 会自己指定,分配不同数值.可以看到在指派第二颗时他指定的 Lun 变成 "1".回到 Summary 可以看到刚刚指定好的 Hosts & Mappings.现在最後一步就是回到 Server (Linux) ,设定driver(module) 和 multi-path 了!!7SAN - 认识 IBM DS3400 (七) Linux multi-path driver虽然我们在 IBM DS3400 已经设定好了 Host Group 让同一个 Lun 去让不同的 wwpn 存取.所以在 driver 上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是 Qlogic 的 HBA 需要下载的东西有两项 1. Qlogic Driver (Qlogic 图形管理介面) 这两项在 Qlogic 都可以找的到先来看看 Qlogic Driver 是如何使用.虽然 RHEL5 在预设就有配置 Qlogic 的 Driver ,不过这边还是说一下 Qlogic Driver 是怎麽使用.[root@benjr ~]#tar -xvzf *.tgz[root@benjr ~]#cd qlogic[root@benjr qlogic]#./drvrsetup#这会将 source files 档案解开至 qla2xxx 的目录下[root@benjr qlogic]#cd# 将依据实际版本而有所不同[root@benjr install#这是实际在编辑 driver 的 script 程式在 Qlogix 以上的版本已经将 failover(multi-path) 设定为预设值(=1).之前的版本可以在 /etc/ 加入 options qla2xxx ql2xfailover=1 的 failover 参数选项.下次开机或是重新开机会只会看到一个硬碟(Lun).8SAN - 认识 IBM DS3400 (八) 安装 Qlogic SANsurfer下载下来的 SANsurfer 是个 .bin 档在 Linux 可以直接去执行安装.SANsurfer 是一个透过 Java 所写的 x-windows 图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr ~]#./或是[root@benjr ~]#sh一些宣告和重要讯息有兴趣的可以看一看!!通常我们使用预设的全安装 (FC HBA GUI and ALL Agent) 就可以了!!预设安装目录是 /opt/QLogic_Corporation/SANsurfer 没什麽特别情况就不需要再去修改.安装完成了!!勾选 "Enable Qlogic Failover Configuration" 这也是我们最重要要使用的选项.在这边就选择开启程式或是在目录 /opt/QLogic_Corporation/SANsurfer 执行./SANsurfer 皆可!!安装完 SANsurfer 时会启动 qlremote 的服务所以我们无法立即移除 qla2xxx 和qla2xxx_conf 的 module ,所以当你在移除 qla2xxx 或是 qla2xxx_conf 时会出现ERROR: Module qla2xxx is in use. 不用急的关机,先将 qlremote 的服务停止#/etc/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目录/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以将SANsurfer 移除了.9SAN - 认识 IBM DS3400 (九) 透过 SANsurfer 去管理刚刚安装完 qlogic driver 和 SANsurfer 先确定一下相关的 driver 和 service 都启动了.[root@benjr ~]#modprobe qla2xxx[root@benjr ~]#/usr/local/bin/qlremote(or qlremote start)SANsurfer FC HBA Manager (执行 #./SANsurfer) 存放在目录/opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透过远端去连接但目前我的是存放在 Local 本地端.所以选择 "localhost" 如果是远端的可以使用 IP 或是 Hostname 去连结.因为是初次登入所以没有设定过任何资料,我们可以透过 wizard 的方式快速设定或是以手动方式去设.接下来是直接透过 wizard 的方式去设定.这边看到的就是目前我们系统上有两个 Fiber ports 都未初始化过.一次只能设定一个port 所以先将第一个 port 作初始化的设定.下一步可以看到目前 fiber channel 的资讯.包括了 wwnn , wwpn , driver , BIOS , Firmware 等的资讯.对於 connection options 我并不是很了解这些的不同处所以我使用预设的 Loop Only.你已看到 IBM DS3400 指派给 Qlogic 的硬碟一颗(Lun).做一下初始化的工作.在 readme 有提及预设密码为何,如果没经过改变这预设密码值为 "config"工作告一段落了,不过我们是2个 fiber ports 所以相同的步骤在第 2 个 port 需要再做一次.回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连接到 DS3400 的同一个 Lun.。
IP存储的概念简单来讲，IP存储就是使用IP，而不是光纤通道，把服务器与存储设备连接起来的技术，除了标准已获通过的iSCSI，还有FCIP、iFCP等正在制定的标准。
而iSCSI发展最快，已经成了IP存储一个有力的代表。
像光纤通道一样，IP存储是可交换的，但是与光纤通道不一样的是，IP网络是成熟的，不存在互操作性问题，而光纤通道SAN最令人头痛的就是这个问题。
IP已经被IT业界广泛认可，有非常多的网络管理软件和服务产品可供使用。
IP存储的标准IP存储除了标准已获通过的iSCSI，还有iFCP、FCIP等正在制定的标准。
IP存储的优势（1）利用无所不在的IP网络，一定程度上保护了现有投资。
（2）IP存储超越了地理距离的限制。
IP能延伸到多远，存储就能延伸到多远，这几乎是一个划时代的革命，十分适合于对现存关键数据的远程备份。
（3）IP网络技术成熟。
IP存储减少了配置、维护、管理的复杂度。
iSCSI标准1、iSCSI的概念iSCSI（互联网小型计算机系统接口）是一种在internet协议网络上，特别是以太网上进行数据块传输的标准。
2003年2月11日，IETF互联网工程任务组通过了iSCSI标准，这项由IBM、Cisco共同发起的技术标准，经过三年20个版本的不断完善，终于得到IETF认可。
简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择，实现了SCSI和TCP/IP协议的连接。
iSCSI是基于IP协议的技术标准，该技术允许用户通过TCP/IP网络来构建存储区域网（SAN）。
而在iSCSI技术出现之前，构建存储区域网的唯一技术是利用光纤通道，该标准制定于20世纪90年代初期，但是其架构需要高昂的建设成本，远非一般企业所能够承受。
iSCSI技术的出现对于以局域网为网络环境的用户来说，它只需要不多的投资，就可以方便、快捷地对信息和数据进行交互式传输和管理。
san存储方案概述SAN（Storage Area Network）存储方案是一种用于集中管理和共享存储资源的网络架构。
它提供了高性能、高可靠性和高扩展性的数据存储解决方案，适用于大型企业和数据中心等场景。
SAN的特点和优势SAN存储方案有以下特点和优势：1.高性能：SAN采用Fibre Channel或者iSCSI等高速通信协议，可以提供高达数百GBps的带宽，满足大规模数据传输和高并发访问的需求。
2.高可靠性：SAN采用多路径冗余、RAID等技术，提供数据的冗余备份和故障恢复能力，保证数据的可靠性和持久性。
3.高扩展性：SAN可以方便地扩展存储容量和性能，通过增加存储设备或者扩展存储阵列，满足业务的快速增长和存储需求的变化。
4.简化管理：SAN提供集中管理的功能，可以通过统一的管理界面进行存储资源的配置、监控和管理，简化了管理人员的工作负担。
5.共享存储：SAN存储方案支持多台服务器共享存储资源，可以实现数据的共享和协同工作，提高了资源的利用率和工作效率。
SAN的组成和架构SAN存储方案主要由以下几个组成部分构成：1.存储设备：包括磁盘阵列、磁带库、闪存存储等，用于存储和管理数据。
2.存储网络：采用Fibre Channel、iSCSI等高速通信协议，连接存储设备和服务器，提供高带宽、低延迟的数据传输通道。
3.存储控制器：负责管理和控制存储设备，包括数据的存取、缓存管理、故障检测和恢复等。
4.存储管理软件：用于配置、监控和管理存储资源，包括存储设备的划分、配额管理、数据备份和恢复等。
5.服务器：连接到存储网络，访问和共享存储资源，执行业务逻辑和数据处理。
SAN的应用场景SAN存储方案在以下场景中得到广泛应用：1.数据中心：SAN可以提供大容量、高性能的存储解决方案，适用于数据中心的服务器虚拟化、大数据分析等应用。
2.数据备份和恢复：SAN存储方案可以提供高效、可靠的数据备份和恢复方案，用于保护重要数据的安全和完整性。
san网络部署实施方案
在进行网络规划时，我们需要考虑到企业的实际需求和发展规划，合理设计网
络拓扑结构，包括核心层、汇聚层和接入层的布局，确保网络的可靠性和高效性。
同时，我们需要进行IP地址规划和子网划分，合理分配IP地址，避免地址冲突和
浪费。
在设备选型方面，我们需要根据网络规划的要求选择适合的设备，包括交换机、路由器和防火墙等，确保设备的性能和稳定性。
在设备配置和调试时，我们需要根据实际情况进行配置，包括VLAN划分、路由配置、安全策略配置等，确保设备
的正常运行和安全性。
在网络部署和实施阶段，我们需要进行设备的安装和连线，确保设备连接正确，信号稳定。
同时，我们需要进行设备的配置和测试，确保设备的功能和性能符合要求。
在部署完成后，我们需要进行网络的监控和维护，及时发现和解决网络故障，确保网络的稳定和安全运行。
综上所述，san网络部署实施方案需要考虑到网络规划、设备选型、部署流程
以及后期维护等方面，确保网络的稳定和安全运行。
希望以上内容对您有所帮助。
