中科曙光ParaStor200-G10并行存储系统用户手册V10
- 格式:docx
- 大小:10.66 MB
- 文档页数:160
第一章概述1.1.什么是并行存储系统并行存储系统基于一种开放式的存储架构,采用并行文件系统,将多台物理存储设备(这些物理设备可以是磁盘阵列,也可以是通用的存储服务器)的存储空间虚拟成一个具有统一访问接口和管理界面的存储池(也叫统一命名空间)。
应用服务器通过统一访问接口获得所需得存储资源。
用户的数据按照一定的负载均衡策略,条带化的分布到后台的多套存储设备上,从而能够实现数据的并行读写以获得更高的并发访问性能,充分利用多台存储设备的性能和更大的存储容量,并有效的提高存储空间利用率,并且所有的存储设备可以实现统一的管理和监控,大大减轻了管理工作负担!1.2.并行存储系统的特点⏹开放式架构(高扩展性)。
开放式架构是针对并行存储系统内部构成单元而言。
并行存储系统通常包括元数据单元、数据单元、网络单元、客户端单元,每个单元都可以按需进行动态扩展,并且每个单元可以开放的采用其业界最新的技术,而无需改变系统架构。
⏹并行文件系统。
并行文件系统是并行存储系统的灵魂所在,所有对并行存储系统的操作都经由并行文件系统统一调度和分发,分散到并行存储系统各个数据节点上完成。
⏹全局统一命名空间。
全局统一命名空间在很多厂家的存储概念中都出现过,在并行存储系统中全局统一命名空间强调的是同一个文件系统下的统一命名空间。
⏹易管理性。
并行存储系统通常能够提供一种集中的、简便易用的管理方式,不需要修改或重新编译客户端操作系统,采用文件系统提供的高速客户端软件或是业界标准的访问协议访问存储系统。
而且,随着存储容量的增加,客户不需要增加额外的管理人员,将精力更多的投向自己的应用领域。
⏹动态负载均衡。
在并行存储系统中,前端访问存储系统的读写操作,通过并行文件系统的负载均衡策略,将数据访问分散到存储系统的各个数据节点上,大大减轻了每个节点的负载。
而后端访问数据,通过开放式的架构和存储网络,数据会分布在所有存储设备上进行存放和读取,每个读写操作都由更多的磁盘参与,因此大大的提高了读写操作的性能。
信息技术的发展带来数据的爆炸性增长,PB 规模的数据越来越常见,这些数据80%以上是视频、音频、图片等非结构化数据,如何有效地管理海量非结构化数据已成为IT 管理者所必须重视的问题。
传统的SAN 和NAS 存储架构已经无法满足海量非结构化数据处理的密集型I/O 及海量并发访问的需求。
ParaStor200并行存储系统汇集了曙光公司多年以来在并行计算和海量数据处理方面的丰富经验,从架构上彻底消除了传统存储系统的瓶颈,能够满足高带宽和高并发的海量文件存取的需求,为用户带来前所未有的存储性能体验。
产品概述ParaStor200并行存储系统采用了代表存储技术、网络通信技术以及数据管理技术发展方向的并行体系架构,是一款面向海量非结构化数据处理、拥有自主知识产权的高端存储系统。
它可以提供TB/s 级的高速带宽和EB 级的海量存储空间,能够满足飞机汽车船舶设计、生物基因研究、材料科学研究、天气预报、地震监测、环境监测分析、能源勘探、电子商务、网络游戏、社交与视频分享网站建设、动漫渲染、视频编辑处理等领域中对于存储容量和I/O 性能要求极高的应用,可广泛应用于政府、教育、科研、制造、企业、医疗、石油、广电、互联网等行业。
ParaStor200并行存储系统先进的架构使其具备超强的横向扩展能力,只需要简单地增加数据控制器,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O 性能。
随着数据控制器的增加,所有物理资源(CPU 、缓存、网络带宽和磁盘读写带宽)自动实现负载均衡,满足成千上万个客户端的数据并发存取需求。
此外,ParaStor200高可用、全冗余的架构设计也使其具有及时的系统预警、准确的故障定位和优越的容错恢复能力,可以保障业务系统7×24小时的持续可用,实现海量存储系统最高级别的可靠性。
曙光并行存储系统ParaStor200特点:● EB 级单一命名空间●支持高并发I/O ● TByte/s 级聚合带宽 ● 性能随容量的增加呈线性增长● 全冗余架构,无单点故障● 自动化故障恢复产品特性EB级单一命名空间全局单一命名空间可以为用户构建EB级容量的虚拟存储池,所有客户端可以在同一个命名空间下共享访问所有的数据。
曙光ParaStor300S并⾏分布式云存储系统产品技术⽩⽪书V1.6信息技术的发展带来数据的爆炸性增长,⽏庸置疑,我们已经全⾯跨⼊⼤数据时代,PB 规模的⾮结构化数据越来越常见,如何有效地管理这些数据,并进⼀步发掘数据价值,已成为IT 管理者所必须重视的问题。
同时⼤数据4V 特性也对存储系统的⼤容量、⾼性能、易扩展、易⽤性等提出了更⾼要求。
传统的SAN 和NAS 存储架构已经难以满⾜海量数据的密集型I/O 并发访问需求。
ParaStor300S 并⾏分布式云存储系统,是在曙光公司近10年来海量数据存储与处理的基础之上,针对⼤数据时代的特点,全新设计并全⾯优化的⾼端存储系统。
产品定位集群⽂件/对象统⼀存储基于曙光完全⾃主研发的并⾏分布式软件ParaStor 构建的集群存储系统,对外统⼀提供多种存储协议:提供⽂件存储服务,包括Linux POSIX 、NFS 、SMB 、FTP 等,满⾜Windows 、Linux 、Unix 等异构平台的不同访问需求;提供对象存储服务,兼容Amazon S3接⼝,满⾜云⽣态的应⽤需求。
特别地,同⼀集群可以同时提供⽂件/对象接⼝,访问⽅式更为灵活。
Scale-Out 横向扩展的并⾏架构基于服务器构建的并⾏分布式存储系统,对外提供单⼀的命名空间。
⽀持3~4096节点的弹性⽆缝扩展,单⼀存储空间容量可扩展⾄EB 级。
具备超强的横向扩展能⼒,只需简单地增加存储节点,即可获得更⼤的存储容量和更多的数据通道,从⽽获得更⾼的系统聚合带宽和I/O 性能。
⾯向海量⾮结构化数据存储场景 ParaStor300S 并⾏分布式云存储系统适⽤于存在数据共享需求的多种应⽤领域,如⾼性能计算、⽣物信息、⽓象预报、环境监测分析、地震监测、能源勘探、卫星遥感、视频监控、媒资管理、视频编辑处理等,可以⼴泛应⽤于政府、教育、科研、医疗、⽯油、⼴电、企业等⾏业。
ParaStor300S 并⾏分布式云存储系统新⼀代⾃主研发的海量⾮结构化数据存储 EB 级共享空间3~4096节点单⼀命名空间按需分配,在线扩容多种访问协议 ? Linux POSIXNFS/CIFS/FTPS3多款硬件平台2U12、4U24、4U36SATA/SAS/SSD 混插智能存储策略SSD 读缓存加速细粒度配额管理多重数据保护2~4副本N+M:b 纠删码快照全冗余设计,⽆单点故障简易运维管理多套集群统⼀管理资源、状态实时监控邮件、短信、SNMP 告警系统架构 ParaStor300S 并⾏分布式云存储系统(下⽂简称为ParaStor300S )的整体逻辑架构如图 1所⽰:NFS CIFS FTP 硬件节点层数据处理层应⽤协议层存储节点池Node Node …...Node Node Node …...Node 存储节点池Node Node …...Node Node Node …...NodePOSIX S3UNIX/LINUX Windows 图 1 系统架构ParaStor300S 基于服务器构建,多个节点构成硬件资源池;数据处理层将硬件资源池统⼀管理,对外提供单⼀的命名空间;通过POSIX 、集群NAS (NFS 、CIFS 、FTP )、S3等协议供上层应⽤访问。
曙光MPI用户手册(TC1700 & TC4000L)曙光信息产业有限公司2003-9目录MPI的使用 (1)1.MPI简介 (1)2.MPI的程序设计 (1)2.1 MPI的基本功能 (1)2.2 MPI的几个重要元素 (2)2.3 消息 (2)2.4 point-to-point通信 (3)2.5 集群通信 (5)3. MPI应用程序的编译 (6)3.1 环境设置 (6)3.2 make (6)3.3 mpif77和mpicc (7)4. MPI应用程序的运行 (8)5. 常见问题分析 (8)附录MPI函数简表 (9)MPI的使用1.MPI简介MPI(M essage P assing I nterface)是消息传递接口的标准,当前通用的是MPI1.2规范。
不久前制定的MPI2.0规范除支持消息传递外,还支持MPI的I/O规范和进程管理规范。
MPI正成为并行程序设计事实上的工业标准。
MPICH含三层结构,最上层是MPI的API,基本是点到点通信和点到点通信基础上构造的集群通信(Collective Communication);中间层是ADI层(Abstract Device Interface),其中device可以简单地理解为某一种底层通信库,ADI就是对各种不同的底层通信库的不同接口的统一标准;最下层是具体的底层通信库,例如工作站机群上的p4通信库。
MPICH在不同平台上的实现都是根据不同的device(即平台或底层通信)实现不同的ADI 接口,这种实现机制的好处有:将与device有关和无关的代码分开,减小实现难度;利于MPI的不断升级;提高MPI的性能。
2.MPI的程序设计2.1 MPI的基本功能MPI1.2标准中没有对如何产生多个MPI进程作标准性规定,而把这一工作交给了具体的实现。
但是它有如下众所周知的假设:静态加载,即所有进程在加载完以后就全部确定,直至整个程序结束才终止,在程序正常运行期间没有进程的创建和结束。
曙光存储服务器部署说明2015年12月拆箱后硬盘按ID:0- ID:23(依次插入硬盘)拔出单电源、连接插上电源、网线(管理口)、显示器、开机长按DELETE键进入BIOS查看ip查看DM(管理口)IP(IP现场为准,可自配置静态IP)通过IP访问http://172.16.2.191/index.html (IP现场为准)账号:admin密码:admin回车双击jviewer.jnlp开机连续不间断点击Ctrl+H一、制作Raid1)服务器启动时按Ctrl+H键进入Raid设置界面(曙光存储一般配的是LSI Raid 卡),如下图点击Start2)选择configuration Wizard进入Raid设置,如下图3)选择Clear Configurationu点击Next先删除Raid4)选择yes5)再次选择configuration Wizard进入Raid设置6)选择New configuration单击NEXT,新建Raid7)选择yes8)默认选择,单击NEXT9)选择硬盘,注最后一块不选留做(热备盘)10)选择完成单击Add To Array,如下图。
11)选择单击Accept DG,如图所示。
12)选择单击NEXT,如图所示13)选择Add to Span,如图所示14)选择单击NEXT15)开始做Raid,配置如下图,配置完成后单击Accept。
注大于8块硬盘做Raid6,小于8块硬盘可做Raid516)选择yes17)选择Back,返回上一层。
18)选择NEXT19)继续做剩下容量Raid配置如下,单击Next。
20)选择yes21)单击Next22)单击Accept23)选择yes24)选择yes25)选择VD0做启动盘,配置如下三步26)单击Home返回首页,选择phyacal View查询状态27)选择最后一块盘(回车),或单击Logical View(Physical view)做热备盘28)选择Make Global HSP,单击GO29)单击GO(Home返回主菜单)30)查看状态后,单击Exit31)选择Yes32)按Ctrl+Alt+Delete重启服务器1)显示如下图界面,选择Media/Virtual Media Wizard加载linux系统文件2)加载linxu系统.ISO文件只引导, 加载完成后单击运行“ConnectCD/DVD”3)单击“Close”4)选择软盘“Ctrl+Alt+Delete”或者选择“Keyboard”菜单下“Ctrl+Alt+Delete”重启。
曙光服务器安装手册work Information Technology Company.2020YEAR
曙光服务器安装系统手册
所需工具(pe U盘,sever 2008系统安装光盘,中科曙光服务器导航光盘)安装过程中,如果遇到其他问题拨打客服电话(400-816-0466)
1开机进入系统自检,自检2次后按下f7键进入bios。
2 第一步:
选择u盘作为第一启动项,进入pe 先格式化硬盘和分盘,如果被光驱位占用了c盘的盘符
右键计算机-管理
右键光驱把占用c盘的驱动器路径给个新的。
(不用c盘)以免后期使用,会出现某些问题。
如果其他盘占用c 盘符同理.
第二步
插入安装光盘,等系统自检二次后,按下f7 进入bios ,选择光盘作为第一首选项启动
进入到“put any key ......”这个页面。
按下任意键进入-安装程序。
选择自定义高级安装,进入后由于没有安装radio 驱动是没有显示硬盘的-所以选择加载驱动程序。
插入导航光盘,然后选择drivers文件夹,具体看当时的系统选择不同的radio ,然后选择下一步安装.
第三步拿出曙光导航光盘,放入server2008光盘安装-选择-系统盘即可。
第四步进入系统后-可能没有网卡驱动,需要安装,插入u盘。
右键“以太网控制器”更新驱动程序 -软件-选择20_0_CD文件夹,点击确定。
(如果没有驱动,请联系客服)
安装成功后,下边的黄色标志,变为白色以后,就可以正常上网了,安装结束,成功!
2016/8/29
钱豪杰。
HDS 存储VSP 用户维护手册(2013年5月)目录一、设备维护 (3)1.1VSP配置信息 (3)1.2VSP系统架构 (3)1.3维护常用命令 (6)1.4VSP应急方案-上下电操作 (28)1.5设备巡检 (30)二、微码升级 (34)2.1微码升级的意义 (34)2.2微码升级的策略 (34)2.3微码升级的步骤 (35)三、故障处理 (39)3.1故障处理预案 (40)四、案例 (41)4.1硬盘更换步骤 (41)4.2CHA更换步骤 (43)4.3DKA更换步骤 (48)4.4CM更换步骤 (51)一、设备维护1.1 VSP配置信息用户SiteID序列号存储配置信息IP地址HDS服务热线设备安装地址磁盘:块GB,10krpm SAS磁盘(包含块热备份磁盘);CacheMemory:384GB;前端板:3对8口8Gbps主机接口板;后端板:2对DKA后端板公共私网400-678-67831.2 VSP系统架构1.2.1 VSP系统架构图其系统架构采用了交换式架构,如下所示。
图2-1:VSP硬件技术架构1.2.2 VSP主要部件图2-2 VSP硬件主要部件图VSP的主要部件包括:前端卡(CHA):负责连接外部主机或存储交换设备,如小型机;后端卡(DKA):负责连接内部磁盘存储设备,如硬盘;数据缓存卡(CPC):CHA访问后端磁盘时的数据缓存区域;内存条(CM):CM的内存条;PCI-Express交换卡(ESW):DKC数据交换控制卡;处理器板卡(MPB):负责前端及后端数据的处理;磁盘(HDD):存储设备的磁盘;备份盘(Spare Disk):用作备份盘的磁盘;电池(Battery):系统掉电时保存数据的电池;电源(PS):系统供电及交换用的电源;风扇(FAN):系统冷却用的风扇;控制台(SVP):系统配置和管理监控的控制台(一台笔记本电脑);线缆(Cable):连接存储内部和外部各部件间的电缆;光纤接头(SFP):光纤转换接头;1.2.3 VSP存储的磁盘分布图VSP的磁盘分布按照如下进行标识:HDDxyz_dd其中:xy=Cabinet(盘柜);z=HDU number(磁盘笼编号)dd=HDD number(磁盘编号)图2-3:VSP磁盘位置图1.3维护常用命令当盘机出现故障,如磁盘、控制卡、电源、内存、电池到出现异常时,会产生SIM信息,同时盘机会根据故障的严重程度,将Message或Alarm灯亮起。
曙光存储调试主要步骤本文引用设备为DS600-G10一、产品简介1.产品介绍DS600-G10是曙光公司推出的FC、IP一体化的网络存储产品,采用先进的设计理念和体系架构,融入热插拔双控制器,8Gb FC、1Gb/10Gb ISCSI接口,多核处理器,以及Flash缓存保护等多项先进的数据处理和传输技术,保证了系统的高可靠性、高性能和强大的扩展能力,既能通过高效的FC方式接入,又能兼容便捷的IP存储环境,同时实现FC接入和IP 接入,实现IP和FC存储的有效融合。
2.硬件组成DS600-G10磁盘阵列分为单控制器、双控制器两种配置,每个控制器含4个千兆iSCSI主机接口,另可选配2个8G FC主机接口3.控制接口4.管理DS600-G10磁盘阵列DS600-G10磁盘阵列采用内置嵌入式Web管理软件Sugon RAID Manager,不需要在主机端安装任何组件,只需使用浏览器登录磁盘阵列控制器,即可实现对磁盘阵列的全面管理。
可以使用浏览器登录到DS600-G10磁盘阵列管理界面。
默认网络设置为:IP:10.0.0.1子网掩码:255.255.255.0输入默认用户名/密码后,单击登录按钮,弹出安全提示,单击“是”,进入软件主界面。
默认用户名:administrator默认密码:password5.RAID配置DS600-G10磁盘阵列建议系统工程师使用高级选项创建RAID,以便于后期维护管理。
点击管理界面“存储”选项,在显示界面点击“磁盘阵列->创建磁盘阵列”按钮,如下图所示:点击“存储->逻辑驱动器->创建磁盘阵列”如下图所示,进入逻辑驱动器创建界面。
在磁盘组选择界面,选择可配置磁盘阵列(DA),点击下一步,进入RAID 配置界面。
在弹出界面,输入RAID 分区名称,选择RAID级别,输入创建分区容量,调整条带、扇区、读写策略等参数,RAID 建立完毕后,可根据需求建立热备磁盘,以保证设备的安全可靠性。
曙光DCstor 私有云存储系统教战手册曙光信息产业(北京有限公司产品中心2011年5月目录1.教战手册作用2.常见问题及解释2.1.什么是云存储,什么是私有云存储2.2.搭建云存储系统需要考虑哪些因素2.3.曙光DCstor 主要有哪些特性2.4.DCstor私有云存储系统的产品主要定位在哪个市场2.5.曙光DCstor产品规格有什么优势1. 教战手册作用曙光DCstor私有云存储教战手册是销售人员在与客户沟通时常见问题的回答要点,是让客户清楚曙光DCstor产品能做的事情以及曙光的优势,为最终达成销售而提供必要的技术解释。
2. 常见问题及解释2.1. 什么是云存储,什么是私有云存储云存储是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储支持两种实施模式:公有云(Public Cloud和私有云(Private Cloud。
公有云是由专门机构提供存储空间,作为一种服务提供给客户,客户可以通过支付一定的费用获得这种服务,从而可以将自己数据通过网络传输并存储到这些存储空间中。
用户不需要了解云存储中使用的技术,也无需为数据的维护和安全性付出任何人力物力成本,这些全部由提供云存储服务的公司来承担;私有云是在企业或者相关机构在自己的计算中心或数据中心内部构建的弹性存储池并由企业或相关机构完全控制。
私有云存储往往需要建立在数据中心的防火墙后面,使用数据中心所拥有或授权的硬件和软件。
数据中心的所有数据保存在内部并且被完全控制着。
这些员工样就可以使用集中管理的存储空间来实现不同部门的存储需求,无论他们的物理位置在哪。
云存储的优势明显:多应用、多租户、多层、多点、安全、可预测、高效、自动。
“云”同时也意味着虚拟化,采用虚拟化技术,配合例如自动存储分层、自动精简配置等必要的工具,可以应对自动化的共同复杂任务,从而使系统能够在正确的存储资源,以合适的时机,自动迁移数据。
曙光DS200-I10磁盘阵列教战手册曙光信息产业(北京)有限公司产品中心2011年5月目录1.教战手册作用 (3)1.1.DS200-I10的产品主要定位在哪个市场 (3)1.2.DS200-I10 单控,双控产品在销售中怎样选择 (3)1.3.对于FC和ISCSI主机接口产品应该怎样选择 (4)1.4.DS200-I10 支持SAS,SATA硬盘,在实际销售中怎么选择 (4)1.5.DS200-I10 多个主机接口怎么工作 (4)1.6.DS200-I10 产品规格有什么优势 (4)1.教战手册作用曙光DS200-I10磁盘阵列教战手册是销售人员在与客户沟通时常见问题的回答要点,是让客户清楚曙光能做的事情以及曙光的优势,最终为达成销售的目的提供必要的技术解释。
1.1.DS200-I10的产品主要定位在哪个市场DS200-I10是曙光推出的ISCSI-SAS控制器架构的磁盘阵列产品,支持单、双控制器。
ISCSI目前在中低端市场应用非常广泛,ISCSI产品有如下特性:ISCSI采用以太网协议,基于以太网连接,不需要单独的存储网络,使用普通的板载网卡即可,所以连接成本较低。
ISCSI盘阵连接和扩容使用现有的网络架构即可,不需要单独部署,对现有应用环境几乎无影响,部署成本、扩容成本、管理成本低。
ISCSI 目前大多数采用1Gb ISCSI连接,并且需要在OS基础上安装ISCSI连接端软件,传输速率比较低,并且受到系统性能的影响。
根据以上几个特性,DS200-I10定位中低端存储应用,主要面向要求“性价比高、部署成本低、扩展容量大、但对高级软件功能和系统性能要求不是特别高”的行业 ,例如: 视频监控中小企业文件共享中小企业视频共享中小图书馆数据中心数据备份项目以及其它价格比较敏感、对性能没有过高要求的客户。
1.2.DS200-I10 单控,双控产品在销售中怎样选择DS200-I10 有两款产品:◆DS200-SI10 单控产品,每控制器4个IGb ISCSI,共4个IGb ISCSI◆DS200-DI10 双控产品, 每控制器4个IGb ISCSI,共8个IGb ISCSIDS200-SI10 配置单控制器,无控制器路径冗余,系统提供4Gb总带宽,适合对成本要求较高、对可靠性要求不是很高的客户;DS200-DI10 配置双控制器,可以做控制器的路径冗余,系统提供8Gb 总带宽,适合对速度要求不高,对可靠性有一定要求的客户。
信息技术的发展带来数据的爆炸性增长,PB 规模的数据越来越常见,这些数据80%以上是视频、音频、图片等非结构化数据,如何有效地管理海量非结构化数据已成为IT 管理者所必须重视的问题。
传统的SAN 和NAS 存储架构已经无法满足海量非结构化数据处理的密集型I/O 及海量并发访问的需求。
ParaStor200并行存储系统汇集了曙光公司多年以来在并行计算和海量数据处理方面的丰富经验,从架构上彻底消除了传统存储系统的瓶颈,能够满足高带宽和高并发的海量文件存取的需求,为用户带来前所未有的存储性能体验。
产品概述ParaStor200并行存储系统采用了代表存储技术、网络通信技术以及数据管理技术发展方向的并行体系架构,是一款面向海量非结构化数据处理、拥有自主知识产权的高端存储系统。
它可以提供TB/s 级的高速带宽和EB 级的海量存储空间,能够满足飞机汽车船舶设计、生物基因研究、材料科学研究、天气预报、地震监测、环境监测分析、能源勘探、电子商务、网络游戏、社交与视频分享网站建设、动漫渲染、视频编辑处理等领域中对于存储容量和I/O 性能要求极高的应用,可广泛应用于政府、教育、科研、制造、企业、医疗、石油、广电、互联网等行业。
ParaStor200并行存储系统先进的架构使其具备超强的横向扩展能力,只需要简单地增加数据控制器,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O 性能。
随着数据控制器的增加,所有物理资源(CPU 、缓存、网络带宽和磁盘读写带宽)自动实现负载均衡,满足成千上万个客户端的数据并发存取需求。
此外,ParaStor200高可用、全冗余的架构设计也使其具有及时的系统预警、准确的故障定位和优越的容错恢复能力,可以保障业务系统7×24小时的持续可用,实现海量存储系统最高级别的可靠性。
曙光并行存储系统ParaStor200特点:● EB 级单一命名空间●支持高并发I/O ● TByte/s 级聚合带宽 ● 性能随容量的增加呈线性增长● 全冗余架构,无单点故障● 自动化故障恢复产品特性EB级单一命名空间全局单一命名空间可以为用户构建EB级容量的虚拟存储池,所有客户端可以在同一个命名空间下共享访问所有的数据。