LoongStore集群存储系统_白皮书_jun09
- 格式:pdf
- 大小:394.47 KB
- 文档页数:14
CONTENTS目录w w w.u n i o n t e c h.c o m01.引言 (1)1.1.行业背景 (1)1.2.关于统信 (2)02.问题与挑战 (3)2.1.行业现状 (3)2.2.解决思路 (4)03.产品介绍 (5)3.1.产品简介 (5)3.2.应用领域 (6)3.3.核心优势 (6)04.产品功能与特点 (8)4.1.服务器操作系统架构 (8)4.2.功能描述 (9)05.产品指标与参数 (15)5.1.外部环境 (15)5.2.性能参数 (16)5.3.安装部署 (16)5.4.系统运维 (17)5.5.软件运行 (18)06.典型应用方案 (19)6.1.自主可控应用 (19)6.2.网络服务应用 (19)6.3.电子政务应用 (20)6.4.关键行业应用 (20)6.5.安全可信应用 (20)07.用户案例 (21)7.1.某市级银行机构服务器操作系统国产化项目 (21)7.2.国家某总局业务系统灾备项目 (22)7.3.某行企业投融资服务中心中小企业信用平台 (22)08.服务与支持 (23)8.1.远程服务 (23)8.2.现场服务 (23)8.3.培训服务 (24)8.4.定制服务 (24)8.5.顾问服务 (24)8.6.联系我们 (24)第1 页01.引言1.1.行业背景当今社会,信息安全已然上升为国家战略,发展国产操作系统是必要需求。
相关安全事件敲响了国家层面信息安全的警钟,而贸易事件对于芯片、操作系统等关键基础软硬件的限制,也使得信创成为国家战略。
另一方面,微软+英特尔形成的Wintel体系处于垄断地位,微软的Win7/XP 系列停止维护,也使信息安全处于漏洞威胁之下。
在数字经济时代,发展国产操作系统已成必然需求。
操作系统行业壁垒较高,生态建设是关键,基于开源是最佳选择。
从零开发一款成熟的操作系统所需的资源投入巨大,而生态体系是确保操作系统可用、好用的根本保障,这两方面形成了操作系统产品的超高壁垒。
达沃逸存集群存储系统YeeStor白皮书北京达沃时代科技有限公司2010年6月1.前言 (3)2.对存储系统及其技术的反思 (4)2.1.存储系统面临的挑战 (4)2.2.存储系统的需求 (5)2.3.应对之道 (6)3.达沃逸存集群存储系统(YEESTOR)介绍 (9)3.1.YEESTOR简介 (9)3.2.YEESTOR的功能特点 (9)3.3.采用YEESTOR集群存储的好处 (10)3.4.YEESTOR系统的构成 (11)4.YEESTOR系统架构 (12)4.1.YEESTOR系统架构 (12)4.2.访问原理 (13)4.3.各子系统详细介绍 (14)5.YEESTOR系统的优势分析 (15)5.1.高稳定性 (16)5.2.高性能 (16)5.3.高扩展性 (17)5.4.经济性 (17)5.5.负载均衡 (17)5.6.标准性 (18)5.7.对比优势 (18)6.组网模式 (19)6.1.新建系统 (19)6.2.整合原有存储系统 (20)6.3.混合系统 (21)7.系统规格 (22)8.适用领域 (22)9.成功案例 (23)10.FAQ (23)11.联系我们 (26)1.前言近20来年,信息技术飞速发展,互联网迅速普及,信息技术应用环境发生了巨大变化:⏹数据爆炸:IDG的研究报告预测从2010年开始全球新产生数据量达到1.2 Z ettaBytes (1Z ettaBytes 大约等于1000亿GBs),地球正式进入ZB时代,其中非结构化数据的增长速度是结构化数据的2倍。
如此庞大的数据规模是有计算机存在以来所未曾见到甚至未曾想像过的,人们需要能应对海量数据产生的存储技术和存储设施。
⏹以数据为中心的计算:基于大规模数据的挖掘和知识发现成为互联网、企业和政府长期发展和业务服务的战略核心资源,传统的“以计算为中心”的信息系统模式正在迅速向“以数据为中心”的模式迅速转变。
“数据中心化”带来的是大量的数据共享访问以及由此产生的数据读写效率问题,同时如何保证数据安全有效,甚至在故障发生情况下尽量提高数据可用性成为产业界和科技界关注的关键问题。
统信 UOS 服务器版 V20产品⽩⽩书⽬录1.引⾔ (1)2.产品介绍 (2)3.设计原则 (3)3.1.可⾔性 (3)3.2.性能⾔ (3)3.3.安全性 (4)3.4.可伸缩性 (4)3.5.可维护性 (5)3.6.稳定性 (5)4.产品功能 (6)4.1.主要功能 (6)4.1.1.进程管理 (6)4.1.2.安全机制 (6)4.1.3.内存管理 (7)4.1.4.⾔⾔界⾔ (7)4.1.5.⾔件系统 (8)4.1.6.驱动程序 (9)4.1.7.⾔络通信 (9)4.2.技术指标 (10)4.2.1.外部环境 (10)4.2.2.安装部署 (11)4.2.3.系统运维 (11)4.2.4.软件运⾔ (12)5.产品特性 (14)5.1.具有⾔主选择权和控制权 (14)5.2.全⾔⾔持主流处理器架构 (14)5.3.稳定可靠和性能优越 (15)5.4.更好的兼容性与易维护性 (15)6.应⾔场景 (17)6.1.⾔主可控应⾔ (17)6.2.⾔络服务应⾔ (17)6.3.电⾔政务应⾔ (17)6.4.关键⾔业应⾔ (18)6.5.安全可信应⾔ (18)1.引⽬操作系统作为当下计算机硬件运⾔的必备软件,与电脑硬件的发展息息相关。
世界上第⾔台电⾔计算机ENIAC(Electronic Numerical Integrator and Computer)诞⾔时,不仅没有操作系统,甚⾔连键盘显⾔器都没有,但随着计算机技术与⾔规模集成电路的发展成熟,20 世纪70 年代中期开始出现了计算机操作系统,操作系统的出现对于计算机的⾔量普及,产⾔了⾔分积极的影响,也与计算机硬件的发展相辅相成。
操作系统对于计算机来说⾔分重要,概括的讲,它主要负责对计算机各项硬件资源的分配、调度、回收和再分配⾔作,极⾔的降低了计算机操作者对硬件资源分配的⾔预程度,使操作者更加专注于如何解决具体的问题,⾔⾔先解决好解决问题的基础环境。
统信 UOS 服务器版 V20产品⽩⽩书⽬录1.引⾔ (1)2.产品介绍 (2)3.设计原则 (3)3.1.可⾔性 (3)3.2.性能⾔ (3)3.3.安全性 (4)3.4.可伸缩性 (4)3.5.可维护性 (5)3.6.稳定性 (5)4.产品功能 (6)4.1.主要功能 (6)4.1.1.进程管理 (6)4.1.2.安全机制 (6)4.1.3.内存管理 (7)4.1.4.⾔⾔界⾔ (7)4.1.5.⾔件系统 (8)4.1.6.驱动程序 (9)4.1.7.⾔络通信 (9)4.2.技术指标 (10)4.2.1.外部环境 (10)4.2.2.安装部署 (11)4.2.3.系统运维 (11)4.2.4.软件运⾔ (12)5.产品特性 (14)5.1.具有⾔主选择权和控制权 (14)5.2.全⾔⾔持主流处理器架构 (14)5.3.稳定可靠和性能优越 (15)5.4.更好的兼容性与易维护性 (15)6.应⾔场景 (17)6.1.⾔主可控应⾔ (17)6.2.⾔络服务应⾔ (17)6.3.电⾔政务应⾔ (17)6.4.关键⾔业应⾔ (18)6.5.安全可信应⾔ (18)1.引⽬操作系统作为当下计算机硬件运⾔的必备软件,与电脑硬件的发展息息相关。
世界上第⾔台电⾔计算机ENIAC(Electronic Numerical Integrator and Computer)诞⾔时,不仅没有操作系统,甚⾔连键盘显⾔器都没有,但随着计算机技术与⾔规模集成电路的发展成熟,20 世纪70 年代中期开始出现了计算机操作系统,操作系统的出现对于计算机的⾔量普及,产⾔了⾔分积极的影响,也与计算机硬件的发展相辅相成。
操作系统对于计算机来说⾔分重要,概括的讲,它主要负责对计算机各项硬件资源的分配、调度、回收和再分配⾔作,极⾔的降低了计算机操作者对硬件资源分配的⾔预程度,使操作者更加专注于如何解决具体的问题,⾔⾔先解决好解决问题的基础环境。
InCloud Sphere 4.5 旗舰版技术白皮书V1.0浪潮(北京)电子信息产品有限公司2017 年 1 月InCloud Sphere 4.5 旗舰版技术白皮书 V1.0目录1第一章摘要 (5)2第二章InCloud Sphere 产品概述 (6)2.1InCloud Sphere 介绍 (6)2.2InCloud Sphere 架构 (8)3第三章InCloud Sphere 技术原理 (9)3.1InCloud Sphere 系统设计 (9)3.2InCloud Sphere 核心技术 (11)3.2.1CPU 虚拟化 (13)3.2.2内存虚拟化 (15)3.2.3I/O 设备虚拟化 (17)4第四章InCloud Sphere 功能原理 (19)4.1 计算 (19)4.1.1CPU 管理 (19)4.1.2内存管理 (19)4.1.3GPU 管理 (20)4.2 存储 (23)4.2.1 存储I/O (23)4.2.2 快照 (24)4.2.3存储多路径 (25)4.2.4存储读缓存技术 (26)4.3 网络 (26)4.3.1网络虚拟化架构 (26)4.3.2网卡绑定 (29)4.3.3QOS (33)4.4高可用 (33)4.4.1vMotion (33)4.4.2Storage vMotion (36)4.4.3 HA (38)4.5负载均衡 (41)4.6 监控 (44)4.6.1性能收集 (45)4.6.2配置性能图表 (46)4.6.3自动化告警机制 (46)4.7vApp (48)4.8 灾备 (49)4.8.1DR 结构 (49)4.8.2DR 工作原理 (50)4.8.3DR 故障转移 (50)4.8.4备份机制 (51)4.9 容器 (52)4.9.1Docker 介绍 (52)4.9.2InCloud Sphere 旗舰版和Docker (52)4.9.3InCloud Sphere 提供Docker 支持优势 (54)5第五章InCloud Sphere 自动化能力 (56)5.1自动化安装 (56)5.1.1自动化部署架构 (56)5.1.2自动化部署条件 (56)5.1.3自动化部署过程 (57)5.1.4应答文件 (57)5.2自动化更新 (57)5.2.1iCenter 自动检查可用更新 (57)5.2.2Hotfix 自动更新 (58)5.2.3InCloud Sphere Tools 自动更新 (59)5.2.4池滚动升级 (59)6第六章InCloud Sphere 开放性和安全性 (61)6.1XAPI (61)6.1.1XAPI 介绍 (61)6.1.2XAPI 功能 (62)6.1.3XAPI 架构 (62)6.2Introspect API (63)6.2.1Introspect API 介绍 (63)6.2.2虚拟机内存保护 (63)6.2.3预防攻击技术 (63)6.2.4虚拟机无代理保护 (64)6.2.5Direct Inspect API 防病毒架构 (64)6.2.6Direct Inspect API 防病毒的优势 (65)6.3PlugIn (65)6.3.1PlugIn 介绍 (65)6.3.2PlugIn 优势 (66)6.3.3部分PlugIn 插件列表 (66)6.4安全架构 (66)6.5SSR (67)6.5.1SSR 介绍 (67)6.5.2SSR 实现原理 (68)6.5.3SSR 技术架构 (69)6.5.4SSR 主要功能 (70)6.6与OpenStack 集成 (70)6.6.1OpenStack 介绍 (70)6.6.2InCloud Sphere 旗舰版的优势 (70)6.6.3与OpenStack 集成架构图 (71)7第七章总结 (73)8第八章缩略语 (74)1第一章摘要浪潮,着力推动中国“行业云”,致力于成为中国领先的云计算解决方案供应商,业已形成涵盖IaaS、PaaS、SaaS 三个层面的整体解决方案服务能力。
华为 OceanStor 18000 V5 高端混合闪存存储系统技术白皮书华为技术有限公司目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1硬件架构 (5)3.1.1后端全互连 (5)3.1.2PCIe Scale-out. (7)3.1.3硬件全冗余 (8)3.1.4门卫式数据加密(国内适用) (9)3.1.5SED 数据加密(国外适用) (10)3.2软件架构 (11)3.2.1块级虚拟化 (12)3.2.2SAN/NAS 一体化 (15)3.2.3负载均衡 (15)3.2.4数据缓存 (16)3.2.5端到端数据完整性保护 (17)3.2.6丰富软件特性 (17)3.2.7面向闪存的系统优化 (17)4精简高效Smart 特性系列 (19)4.1异构虚拟化(SmartVirtualiztaion) (19)4.2数据迁移(SmartMigration) (21)4.3数据重删压缩(SmartDedupe&SmartCompression) (22)4.4智能数据分级(SmartTier) (25)4.4.1块数据分级(SmartTier for Block) (25)4.4.2文件数据分级(SmartTier for File) (26)4.5智能精简配置(SmartThin) (27)4.6智能服务质量控制(SmartQoS) (27)4.7智能缓存分区(SmartPartition) (29)4.8SSD 智能缓存(SmartCache) (31)4.9LUN 销毁(SmartErase) (31)4.10多租户(SmartMulti-Tenant) (32)4.11智能配额(SmartQuota) (33)4.12智能数据迅移(SmartMotion) (34)5数据保护Hyper 特性系列 (35)5.1快照(HyperSnap) (35)5.1.1LUN 快照(HyperSnap For Block) (35)5.1.2FS 快照(HyperSnap For File) (36)5.2克隆(HyperClone) (38)5.2.1LUN 克隆(HyperClone For Block) (38)5.2.2FS 克隆(HyperClone For File) (40)5.3远程复制(HyperReplication) (41)5.3.1LUN 同步远程复制(HyperReplication/S For Block) (42)5.3.2LUN 异步远程复制(HyperReplication/A For Block) (44)5.3.3FS 异步远程复制(HyperReplication/A For File) (45)5.4阵列双活(HyperMetro) (47)5.4.1阵列双活(HyperMetro For Block) (47)5.4.2阵列双活(HyperMetro For File) (49)5.5一体化备份(HyperVault) (51)5.6LUN 拷贝(HyperCopy) (51)5.7卷镜像(HyperMirror) (53)5.8WORM(HyperLock) (55)5.9两地三中心(3DC) (57)6最佳实践 (59)A 附录 (60)A.1更多参考信息 (60)A.2如何反馈意见 (60)A.3缩略语表 (61)1摘要华为OceanStor 18000 V5高端混合闪存存储系统(以下简称OceanStor 18000 V5高端存储系统)是面向企业级应用的新一代统一存储产品。
华为OceanStor Dorado 全闪存存储系统技术白皮书华为OceanStor Dorado V3 全闪存存储系统品技术白皮书(中国区企业版本) 目录目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1相关概念 (5)3.1.1控制框 (5)3.1.2控制器 (6)3.1.3硬盘框 (7)3.1.4硬盘域 (7)3.1.5存储池 (9)3.1.6RAID 技术 (10)3.2硬件架构 (14)3.2.1设备形态 (15)3.2.2自研HSSD (16)3.2.2.1盘内磨损均衡 (17)3.2.2.2坏块管理 (17)3.2.2.3数据冗余保护 (17)3.2.2.3.1后台巡检 (18)3.2.2.3.2支持SAS 和NVMe 协议 (18)3.2.3自研芯片 (19)3.2.4硬件扩展能力 (20)3.2.5硬件架构特征 (24)3.3软件架构 (24)3.3.1FlashLink (26)3.3.1.1冷热数据分流 (27)3.3.1.2端到端IO 优先级 (27)3.3.1.3ROW 满分条写 (28)3.3.1.4全局垃圾回收 (29)3.3.1.5全局磨损均衡/反磨损均衡 (29)3.3.2读缓存 (31)3.3.3IO 流程 (31)3.3.3.1写流程 (31)3.3.3.2读流程 (33)3.3.4丰富软件特性 (34)3.3.5软件架构特征 (35)4精简高效Smart 系列特性 (36)4.1在线重删(SmartDedupe) (36)4.2在线压缩(SmartCompression) (37)4.3智能精简配置(SmartThin) (39)4.4智能服务质量控制(SmartQoS) (39)4.5异构虚拟化(SmartVirtualization) (41)4.6智能数据迁移(SmartMigration) (42)4.7多租户(SmartMulti-Tenant for File) (44)4.8智能配额(SmartQuota for File) (46)5数据保护Hyper 特性 (48)5.1快照(HyperSnap) (48)5.1.1LUN 快照(HyperSnap For Block) (48)5.1.2FS 快照(HyperSnap For File) (51)5.2HyperCDP (52)5.3HyperCopy (54)5.4克隆(HyperClone) (57)5.4.1LUN 克隆(HyperClone For Block) (57)5.4.2FS 克隆(HyperClone For File) (59)5.5远程复制(HyperReplication) (61)5.5.1LUN 同步远程复制(HyperReplication/S For Block) (61)5.5.2LUN 异步远程复制(HyperReplication/A For Block) (64)5.5.3FS 异步远程复制(HyperReplication/A For File) (66)5.6阵列双活(HyperMetro) (68)5.6.1LUN 双活(HyperMetro For Block) (68)5.6.2FS 双活(HyperMetro For File) (69)5.7两地三中心(3DC) (72)5.8一体化备份(HyperVault for File) (72)5.9WORM(HyperLock for File) (73)6云灾备Cloud 特性 (76)6.1云复制(CloudReplication) (76)6.2云备份(CloudBackup) (77)7系统安全和数据加密 (80)7.1系统数据加密(Data Encryption) (80)7.2基于角色的访问控制管理 (81)8系统管理及兼容性 (82)8.1系统管理 (82)8.1.1Device Manager (82)8.1.2CLI (82)8.1.3Call Home 服务 (82)8.1.4Restful API (83)8.1.5SNMP (83)8.1.6SMI-S (83)8.1.7配套工具 (83)8.2生态集成及兼容性 (83)8.2.1VVol(Virtual Volumes) (83)8.2.2OpenStack 集成 (84)8.2.3虚拟机环境插件 (84)8.2.4主机兼容性 (84)9最佳实践 (85)10更多参考信息 (86)11如何反馈意见 (87)12缩略语 (88)1 摘要华为公司OceanStor Dorado V3 是面向企业关键业务打造的全闪存存储系统,采用专为闪存设计的FlashLink® 技术,实现0.5ms 稳定低时延;免网关双活技术,为客户提供端到端双活数据中心解决方案,并可平滑升级到两地三中心容灾方案,实现方案级99.9999%的可靠性;在线重删和压缩技术,提供更多的客户可用容量,减少TCO。
目录一、前言 (3)1.1非结构化数据爆炸性增长 (3)1.2集群化趋势 (3)二、常见存储架构 (4)2.1直接连接存储(DAS) (4)2.2网络附加存储(NAS) (4)2.3存储区域网(SAN) (5)三、集群存储趋势的发展 (6)四、LOONGSTORE集群存储系统 (7)4.1L OONG S TORE系统架构 (7)4.2L OONG S TORE集群存储系统组件介绍 (8)4.2.1 LeoFS分布式文件系统 (8)4.2.2 负载均衡软件 (9)4.2.3 灵活冗余软件 (9)4.2.4 故障自动恢复软件 (9)4.2.5 大目录支持软件 (9)4.3L OONG S TORE集群存储系统功能及特点 (10)4.3.1 海量数据高效管理 (10)4.3.2 海量文件高效检索 (10)4.3.3 数据读写性能 (10)4.3.4 数据全局共享 (11)4.3.5 数据安全性 (11)4.3.6 系统可扩展性 (11)4.3.7 系统可维护性 (12)4.3.8 与现有环境无缝兼容 (12)4.3.9 系统的整体拥有成本 (12)五、总结展望 (13)一、 前言1.1 非结构化数据爆炸性增长随着各种业务类型越来越丰富,电子数据正在飞速增长,而其中增长最快的部分就是非结构化数据。
以往传统的数据如数据库、文档、邮件等结构或者半结构化数据典型的一般都是数MB或者GB级,但是非结构化数据的单个文件大小以及总数据量的增长非常迅速,比如目前音视频这类常见数据随着音视频清晰度逐步提高,单个视频文件就达数十GB;而像地震资料这类科学计算数据单个文件就达上百GB,这样总体数据量就轻易达到数十TB甚至数百TB。
海量的非结构化数据迫切的需要能够简便进行存储和管理,企业需要一个能够容纳海量数据的存储平台。
1.2 集群化趋势由于集群架构具备良好的扩展性和性价比优势,目前集群技术已经被广泛的应用到了各行各业。
企业相关业务已经从传统的昂贵而且专用的“大型机”、“小型机”转换到了使用Linux和Windows操作系统的通用集群化架构,极大的提升了整体计算处理能力,并且能够良好的支撑业务不断发展带来的需求。
集群架构给企业带来灵活的计算处理能力的同时,也给企业提出了新的需求。
集群架构强大的计算处理能力必须围绕着数据运转。
当计算集群中业务高并发的对数据进行访问,如果数据不能够被快速的获取和共享将会严重影响业务运转效率,耗费大量的计算处理资源。
从集群化的趋势中可以看企业也需要一个具备灵活扩展能力和高效数据IO能力的大规模存储平台支持强大的集群计算处理能力。
二、 常见存储架构随着人类社会文明的不断进步,社会信息化水平的飞速提高和“知识大爆炸”对信息存储提出了前所未有的需求,存储行业近年来也呈现出一片繁荣的景象,纵观当前主要的存储技术,主要包括以下三个比较流行的存储架构,即:以服务器为中心的DAS、以数据为中心的NAS、以网络为中心的SAN。
2.1 直接连接存储(DAS)DAS 设备设计来为部门级的IT 环境提供直接的小数据池的访问,存储设备是通过电缆(通常是SCSI接口电缆)直接连接到服务器。
对于小的数据中心,这可能是一种可接受的解决方案,但当存储规模增长时,企业就需要一个一个地增加DAS 设备,而这些系统之间又不能直接通信而形成各个独立的信息孤岛,导致存储系统的管理工作烦琐而重复,严重制约了生产效率的提高。
而且一旦服务器出现故障,信息资源也将被埋葬在崩溃的服务器中不能访问。
目前这种以网络服务器为中心的存储方式已经不能适应来自应用越来越高的要求。
2.2 网络附加存储(NAS)NAS是一种较为简易的数据共享解决方案。
NAS通过NFS/CIFS协议给前端应用提供全局的文件共享,来满足多应用服务器之间的业务协作。
传统的NAS是一种单服务器的方式为应用提供存储服务,其性能受限于该服务器的配置。
在业务访问量较大的情况下,NAS将很快成为业务的性能瓶颈。
NAS是一种提供数据全局共享的一种解决方案。
NAS即便使用两台NAS服务器同时提供服务,但是由于两台NAS实际上不能同时对相同的卷进行访问,导致其性能与传统的单台NAS 相差无几。
同时NAS也存在最大存储容量、单卷存储容量、文件数量等诸多限制。
在数据不断增长的情况下,这些限制将会给数据的统一管理维护带来不少困难。
2.3 存储区域网(SAN)SAN提供通过2Gb/s、4Gb/s的光纤通道给应用的是块级的访问接口。
在应用端看到的是一块硬盘,实际使用时还需要对该硬盘进行格式化处理。
SAN具有如下几个特点:1.数据不能共享:该方案利用存储光纤网络连接应用服务器和光纤盘阵,相比DAS更具灵活性和可扩展性。
但是SAN仍然不具备数据共享能力,而且由于SAN系统高昂的价格,以及不同厂商之间的设备兼容性问题,限制了在很多领域的使用。
相对来说,SAN更加适合作为数据库这类结构化数据的存储。
2.使用维护复杂:SAN使用了大量专用、复杂的硬件,并且各厂家之间的兼容性较差,这就需要较高的系统构建成本、运营维护成本,兼容性的问题也会对系统将来的升级带来不便。
三、 集群存储趋势的发展直接连接存储 (DAS)、存储区域网络 (SAN) 和网络连接存储 (NAS) 都是典型的存储方法,大多数 IT 管理人员在谈到存储架构时都会想到它们,但是随着非结构化数据和数字内容的爆炸性增长,而且由于非结构化内容的存储规模和复杂程度不断提高,传统存储系统显得捉襟见肘。
从当前常见的存储技术来看,NAS和SAN主要是为含有小型文件和高级别事务(例如关系数据库和电子邮件服务器)的结构化数据设计的。
而非结构化数据具有传统存储系统在设计时并未考虑到的独特特征,包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。
特别是对于互联网、流媒体、高性能计算、能源等数据密集型、高并发访问的行业用户来说,容量与性能的线性扩展是传统存储系统不可逾越的鸿沟。
在这种强烈的市场需求背景下,集群存储得到了快速发展,已经被广泛视为是新一代的企业级存储架构。
其中集群技术应用于数据中心的服务器设备上已经有几年的历史了,效果显著。
而集群存储作为集群技术的发展和延伸,具备了灵活的扩展性和极高的性价比。
集群存储系统通过由若干个存储系统组成的cluster,能够让企业在兼顾性价比的同时轻松实现性能与容量的在线无缝扩展,还有效解决了文件共享的效率问题。
集群存储就是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。
数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。
集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更高性价比的通用硬件来控制整体成本。
目前,能源行业、广电行业和科学计算、互联网等领域的很多创新企业成了集群存储市场上首批用户,并且从集群存储带来的种种优势中获得了非常高的投资回报率。
四、 LoongStore集群存储系统LoongStore 存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统,采用通用硬件设备作为基本的构建单元,为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口(POSIX兼容)。
LoongStore 存储系统能够为用户提供PB 级的存储容量,并根据用户应用发展的趋势,适时按需进行在线动态扩展;世界领先的元数据服务器集群技术消除了现有存储系统中所存在的单目录下文件数量、小文件处理速度等种种限制,提供了近乎无限的文件存储数量和极高的文件检索速度,是业界唯一一款能够高效支持千万级大目录的存储系统(单目录下可轻松创建千万数量级的文件,并能对文件进行高速随机检索)。
同时LoongStore 存储系统采用了自主研发的全系统规模数据高可用技术,彻底消除存储系统中的单点故障,结合特有的自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行;4.1 LoongStore系统架构LoongStore存储系统主要由应用服务器集群、智能存储服务器集群、元数据服务器集群三大部分组成。
图表 1 系统架构图应用服务器集群:运行客户应用程序的集群,进行特定的计算、信息处理及业务服务等。
应用服务器上需要安装LoongStore的应用服务器模块高效的访问存储。
智能存储服务器集群:存储用户的实际数据,是整个LoongStore存储系统的存储资源提供者。
当应用服务器进行数据访问时,存储服务器集群提供实际的数据IO服务。
数据IO 压力能够非常均衡的分布在存储服务器集群之间。
元数据服务器集群:管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),管理整个存储系统的命名空间,对外提供单一的系统映像,并负责整个存储集群的管理监控。
元数据服务器协调指挥应用服务器和存储服务器之间的活动,并且元数据服务器集群能够均衡的负担整个LoongStore集群存储系统的相关元数据访问负载。
LoongStore集群存储系统采用了数据路径(读,写)和控制路径(元数据)分离的架构,这种存储系统带外架构让数据通过以太交换网络直接在应用服务器和后端存储服务器之间进行传输,消除了性能瓶颈,提高了数据吞吐能力。
4.2 LoongStore集群存储系统组件介绍4.2.1 LeoFS分布式文件系统LoongStore集群存储系统的核心是享有专利的LeoFS分布式文件系统,它把文件的活动分散到许多存储服务器中。
LeoFS将多个元数据服务器构成集群来协调指挥文件活动,平衡系统性能和管理可用性。
这种基于集群的方法消除了性能瓶颈并减轻了LoongStore集群存储系统的管理负担。
LeoFS的关键功能包括:¾将数据跨所有可用的存储服务器虚拟化,因此LoongStore存储系统在客户端服务器前面表现为一个单一的统一的存储空间。
当更多的存储服务器加入时,LoongStore的全局文件系统名字空间无缝地增长。
¾元数据服务器集群, 动态地将多个元数据服务器连接在一起,使之成为一个单一的集群的存储网络,因此达到最大的可扩展性和可用性。
¾带外的元数据服务器集群架构,使服务器节点与存储服务器之间进行直接的和高度并行的数据访问。
4.2.2 负载均衡软件现有的诸多存储系统一般都不具备存储容量动态扩展的能力,而且经过动态扩展之后如果没有数据动态负载均衡的功能,即使存储系统的容量增长,性能不会随之增长。
LeoFS负载均衡软件是专门针对存储扩展性需求较高的应用环境而提供。
当存储系统按需在线动态扩展容量之后,管理员可以选择在合适的时间启动或者停止负载均衡软件,该功能将数据在存储服务器之间迁移,直到数据分布较为均衡停止。