2012云架构师峰会--石磊-为IaaS 平台选择合适的存储架构

方案 – 对比（2）
方案1： 集中式存储 方案2： 纯分布式存 储 方案3： 本地分布混 合式 方案4： 全对称式本 地存储 方案5： 纯本地存储
灵活性 成本 数据可用性 可扩展性 管理复杂度 部署周期
5 4 2 4 2 1
4 3 4 5 3 3
3 2 3 4 4 4
4 2 4 5 4 3
1 2 2 3 2 2
• 设计目标
– – – – – – 灵活性 成本 数据可用性 可扩展性 管理复杂度 性能
• 实际需求
– 目的 – 服务能力 – 功能需求 – 资源特点 – 应用特点 – 成本因素
• 企业私有云，IDC云服务
• 存储快照，虚拟机迁移 • 硬件配置，机柜空间 • IO，计算，网络密集型 • 资金，人力，时间 • 迁移代价，部署周期
选择
合适的就是完美的
谢 谢！
shil@ weibo: @Stones_SimpleCloud
方案 – 常见方案
1. 集中式存储 刀片服务器，企业级存储设备（NFS，SAN） 2. 纯分布式存储 计算集群，分布式文件系统 3. 本地分布混合式 系统盘存本地，数据盘存放于分布式文件系统 4. 全对称式本地存储 计算节点即存储节点，分布式文件系统 5. 纯本地存储 本地虚拟机本地存储
方案1
方案2,3
问题 – 设计目标
• • • • • • 灵活性 成本 数据可用性 可扩展性 管理复杂度 性能
不存在完美的解决方案
问题
如何存储及管理虚拟机磁盘？
方案
ห้องสมุดไป่ตู้
方案 - 存储介质
• 本地存储
– 文件系统 – 块设备
• 分布式存储
– NFS – FC-SAN IP-SAN – 分布式文件系统
• MooseFS, GFS, GlusterFS, Ceph…
易扩展；动态迁 移；虚拟机部署 快；多份拷贝高 可用性支持；
数据盘存储易扩展； 系统盘性能高；数据 盘高可用性；本地 RAID容错；
无单点；无IO性 性能较好；部署 能瓶颈；成本低； 简单；本地 多份拷贝高可用 RAID；易管理； 性；本地RAID 容错；易扩展易 管理 双角色节点压力 无法迁移；不易 大；虚拟机部署 扩展；计算存储 时间长；节点宕 均单点； 机数据恢复效率； 镜像拷贝带宽； 全对称架构，节 点数目某一范围 内性能可线性 可映射本地设备； 可采用网络 RAID（DRBD） 防单点；软硬件 存储缓存；
方案4,5
方案 – 对比（1）
方案1： 集中式存储 方案2： 方案3： 纯分布式存储 本地分布混合式 方案4： 全对称式本 地存储 方案5： 纯本地存储
优势
灵活；易动态迁 移；易扩展易管 理；部署快；虚 拟机密度高；高 可用性易实现； 统一存储策略； 节约空间； 成本高；单点失 效风险；存储IO 性能瓶颈
性能 指标：吞吐率，IOPS 影响因素：规模，带宽，拓扑，客户端数目，虚拟机磁盘格式，硬件 配置（RAID，缓存，磁盘类型数目），软件配置（缓存，协议）
注：评分1-5代表从低到高，仅供参考
方案
1.集中式存储 2.纯分布式存储 3.本地分布混合式 4.全对称式本地存储 5.纯本地存储 …
选择
选择
劣势
额外存储节点成 本；管理代价； 软件系统稳定性 要求高；存储性 能受限于网络； 采用多交换机+服 务器多网卡负载 均衡
不易热迁移；管理代 价高；虚拟机部署不 易；系统盘数据难保 障； 数据盘优化同方案2， 系统盘可以采用本地 块设备或LVM分区快 照
备注
优化并行NAS （pNFS） 适用企业私有云
虚拟 存储 API
虚拟磁盘 虚拟化平 台软件 资源池化 管理
物理层
服务器 网络设备
存储设备 机房设备
设备监控 配置管理
告警管理 资源调度
问题 - IaaS存储内容
• • • • 虚拟机磁盘 配置文件 日志 监控信息
问题 – 虚拟磁盘
• 存储位置（本地，网络） • 虚拟机磁盘格式（文件，块） • 部署方式（拷贝，COW，Snapshot）
为IaaS平台选择合适的存储架构
华茂云天科技（北京）有限公司 高级架构师 石磊
目录
• 问题 • 方案 • 选择
问题
问题 – IaaS平台
资源基础
客户 订单 应用 服务 信息
管理模式
服务管理 流程管理 权限管理 安全审计 用户管理 订单管理 信息查询 计费管理 虚拟 资源 调度 接口
服务接口
用户服务门户 管理员服务门户
服务运 营层
资源
虚拟化 管理层
集群 CDN/IP 虚拟 机 存储 池
镜像 数据 虚拟 网络
资源监控 集群管理 安全管理
资源调度 镜像管理 可用性管 理 虚拟机监 控 资源调度
虚拟 资源 信息 接口
虚拟 资源 监控 接口
虚拟化层
虚拟内存
虚拟CPU
虚拟机管 理 配置管理
虚拟 机管 理API
虚拟 网络 API