TCE-BS-003-041 腾讯专有云 产品架构设计 对象存储(CSP)V3.4.2
- 格式:pdf
- 大小:777.60 KB
- 文档页数:10
供应链金融服务平台产品概述目录产品简介产品概述 (3)什么是供应链金融 (3)产品功能 (3)应用场景 (4)产品简介产品概述19-12-19 16:04:52什么是供应链金融供应链金融(Tencent Supply Chain Finance,TSCF)帮助产业解决资金端和资产端的需求匹配问题,利用区块链、人工智能、大数据、云计算、物联网等多项技术,构建简捷、高效、标准化的供应链协作和供应链融资在线全流程,基于数据构建了全流程风控体系,从贷前、贷中、贷后实现底层资产透明化,降低操作风险、运营及人工成本,改善企业现金流管理,提升小微企业融资能力。
产品功能全流程线上管理支持保理业务全流程管控,包含贷前、贷中、贷后的各种业务信息管理及额度、业务、放款、还款等流程审批。
多业务场景管理支持正向、反向、有追、无追、单笔保理及池保理融资等多种场景,更好地满足企业融资业务开展。
降低操作风险全流程把控合规要点,规范保理业务办理流程,通过多数据校验、预警、提醒等手段,降低操作风险。
信用多级传递核心企业的信用能被更多层级的供应商触达,真正有效地将产业链条上的各级应收账款调动传递起来,债权凭证可以进行随意的拆分和转移。
业务流程配置化可根据企业内部的实际流程定制设计、内置规则引擎、业务流程配置,模块可拆分灵活化配置。
强大的数据风控基于多维度数据交叉分析,从贷前、贷中、贷后多环节数据风控,打造企业画像、贸易真实背景分析,更好地服务金融机构和供应商。
应用场景19-12-19 16:04:57保理融资基于工作流引擎、影像系统等技术,对保理业务的业务信息、文档资料、审批操作流程进行全方面的线上管理,高效、便捷地进行融资,实现底层资产透明化,降低操作风险和运营人工成本,提升供应链运转效率。
债权多级流转把核心企业应付账款债权进行多级流转,实现灵活拆分和转让,将核心企业信用直接传导,为原本无法融资的大量中小企业提供了融资机会,极大地改善了实体经济资金流动性不足的问题,解决了三角债困局,并且极大地降低了中小企业的资金成本。
VPC网络产品部署手册错误!文档中没有指定样式的文字。
错误!文档中没有指定样式的文字。
裸金属服务器(BMS)产品架构设计本文档著作权归腾讯云单独所有,未经腾讯云事先书面许可,任何主体不得以任何形式复制、修改、抄袭、传播全部或部分本文档内容。
及其它腾讯云服务相关的商标均为腾讯云计算(北京)有限责任公司及其关联公司所有。
本文档涉及的第三方主体的商标,依法由权利人所有。
本文档旨在向客户介绍腾讯云全部或部分产品、服务的当时的整体概况,部分产品、服务的内容可能有所调整。
您所购买的腾讯云产品、服务的种类、服务标准等应由您和腾讯云之间的商业合同约定,除非双方另有约定,否则,腾讯云对本文档内容不做任何明示或模式的承诺或保证。
编号发布日期修改人更新内容01 2019-10-25 lollitaliu 基于3.3.4版本无变更。
(2) (4)1.BMS概述 (5)2.应用场景 (6)2.1高性能计算场景 (6)2.2核心数据库场景 (6)2.3自建容器平台 (6)2.4监管安全高要求场景 (6)3.产品优势 (7)3.1无缝集成云服务,业务按需混合部署 (7)3.2生命周期自动化,用户自服务 (7)3.3即插即用,硬件标准兼容 (7)4.整体架构介绍 (8)4.1BMS控制平面架构 (8)4.2BMS数据平面架构 (10)1.BMS概述腾讯云裸金属服务器(Bare Metal Server,BMS)是腾讯云为用户提供的云上物理服务器,可以和现有腾讯云计算、网络等服务无缝集成,满足业务对计算性能的极致要求,提供高性能、稳定的物理计算资源,并且可以与云服务器(CVM)、私有网络(VPC)等云产品的配合使用,集成传统托管主机的稳定性与云上资源高度弹性的优势。
裸金属服务器支持通过控制台自动化生产并使用,按照您的需求选择裸金属服务器的机型(包括裸金属服务器CPU、内存、硬盘等配置)、操作系统、RAID配置、私有网络等信息,用户经过装机后即可得到所需的裸金属服务器。
企业云存储解决方案目录1. 内容简述 (3)1.1 文档目的 (4)1.2 背景与需求 (4)1.3 文档结构概览 (5)2. 企业云存储解决方案概述 (6)2.1 云存储技术简介 (7)2.2 云存储解决方案与企业需求匹配分析 (9)2.3 云存储优势与挑战分析 (9)2.4 解决方案核心功能概述 (11)3. 云存储解决方案技术架构 (13)3.1 整体架构图 (14)3.2 核心组件概述 (15)3.2.1 云存储平台 (16)3.2.2 数据中心与基础架构 (17)3.2.3 数据安全性与合规性措施 (19)3.2.4 可扩展性与性能优化 (20)4. 实施与部署 (21)4.1 系统部署架构设计 (22)4.2 实施步骤 (24)4.2.1 初始准备与规划 (26)4.2.2 数据迁移与备份策略规划 (27)4.2.3 安全性措施和合规性要求部署 (29)4.2.4 监控与维护策略制定 (29)4.3 用户培训与支持 (31)4.4 性能优化与调优 (31)5. 云存储解决方案的安全性与合规性 (33)5.1 数据加密与访问控制 (34)5.2 合规性与遵从性管理 (35)5.3 数据备份与灾难恢复策略 (36)6. 性能评估与监控 (38)6.1 性能指标与测试方法 (39)6.2 自适应性能调优 (41)6.3 系统监控与告警机制 (43)7. 迁移策略与数据管理 (44)7.1 迁移策略规划 (46)7.2 数据生命周期管理 (47)7.3 版本控制与恢复 (48)8. 成本效益分析与收益预期 (49)8.1 成本结构分析 (50)8.2 规模化效益分析 (51)8.3 预期ROI分析 (53)8.4 对比传统存储解决方案优势 (55)9. 案例研究与客户部署经验分享 (56)9.1 典型客户使用案例分析 (58)9.2 成功实施的关键要素 (59)9.3 客户反馈与建议 (61)10. 结论与未来展望 (62)10.1 总结陈词 (64)10.2 未来技术趋势与解决方案发展方向 (65)10.3 对企业的价值提升建议 (67)1. 内容简述本企业云存储解决方案文档旨在为贵公司提供一个全面地云存储解决方案的指南。
对象存储产品简介产品⽂档【版权声明】©2013-2023 腾讯云版权所有本⽂档著作权归腾讯云单独所有,未经腾讯云事先书⾯许可,任何主体不得以任何形式复制、修改、抄袭、传播全部或部分本⽂档内容。
【商标声明】及其它腾讯云服务相关的商标均为腾讯云计算(北京)有限责任公司及其关联公司所有。
本⽂档涉及的第三⽅主体的商标,依法由权利⼈所有。
【服务声明】本⽂档意在向客户介绍腾讯云全部或部分产品、服务的当时的整体概况,部分产品、服务的内容可能有所调整。
您所购买的腾讯云产品、服务的种类、服务标准等应由您与腾讯云之间的商业合同约定,除⾮双⽅另有约定,否则,腾讯云对本⽂档内容不做任何明⽰或模式的承诺或保证。
⽂档⽬录产品简介产品概述功能概览产品优势基本概念地域和访问域名规格与限制产品简介产品概述最近更新时间:2023-03-23 15:42:29对象存储(Cloud Object Storage,COS)是腾讯云提供的⼀种存储海量⽂件的分布式存储服务,⽤户可通过⽹络随时存储和查看数据。
腾讯云 COS 使所有⽤户都能使⽤具备⾼扩展性、低成本、可靠和安全的数据存储服务。
COS 通过控制台、API、SDK 和⼯具等多样化⽅式简单、快速地接⼊,实现了海量数据存储和管理。
通过 COS 可以进⾏任意格式⽂件的上传、下载和管理。
腾讯云提供了直观的 Web 管理界⾯,同时遍布全国范围的 CDN 节点可以对⽂件下载进⾏加速。
产品功能COS 为⼴⼤企业和个⼈⽤户提供数据管理、异地容灾、数据访问加速和数据处理等功能,涵盖诸多场景,详情请参⻅功能概览⽂档。
基本概念下⾯通过⼏个名词概念,帮助您进⼀步了解腾讯云 COS:存储桶(bucket):是对象的载体,可理解为存放对象的“容器”。
⼀个存储桶可容纳⽆数个对象。
对象(Object):是 COS 的基本单元,可理解为任何格式类型的数据,例如图⽚、⽂档和⾳视频⽂件等。
地域(Region):是腾讯云托管机房的分布地区,COS 的数据存放在这些地域的存储桶中。
一、CSP 产品简介1.1 概述腾讯云对象存储CSP(Cloud Storage on Private)是面向企业客户提供可扩展、高可靠、强安全、低成本的PB级海量数据存储能力,同时保证核心敏感数据私密性。
CSP 提供客户机房私有部署、腾讯云机房专区部署两种方式,满足客户多种场景需求,并保障客户对系统100%可控。
主要针对于敏感数据、监管要求不能上云的企业客户。
CSP 提供对象存储能力,接口完全兼容AWS S3协议,通信基于HTTP/HTTPS网络协议,并使用REST风格,协议简单清晰无状态,易于访问。
提供了用户隔离与权限控制机制。
1.2 名词解释Bucket:存储桶,在CSP 中用于存储对象。
一个存储桶中可以存储多个对象。
存储桶名由用户自定义的字符串和系统自动生成的数字串用中划线链接而成,以保证该存储桶全球唯一;Object:对象,CSP 中存储的基本单元,可以是一份文件或一张图片等等,存放于存储桶中,通过控制台、API、SDK等多种方式访问;Region:地域,表示CSP 的数据中心所在的地域。
地域在创建存储桶时指定,不允许更改。
该存储桶下所有的对象都存储在对应的数据中心,目前不支持对象级别的地域设置;默认访问域名:默认访问域名由存储桶名、CSP 所属地标识和对象名组成,通过默认访问域名可寻址COS 中唯一对应的对象。
在用户上传对象后,腾讯云会自动为对象创建默认访问域名。
1.3 产品优势扩展性:分布式架构,根据负载和存储要求平滑扩容。
持久性:支持多节点、机柜、机房的分布式管理,实现了数据多副本或纠删码冗余。
经济性:兼容性软硬件平台,避免专用设备开销,显著降低每GB 的部署和管理成本。
安全性:可部署硬件独占集群,实现网络层面的软件安全隔离,数据支持SSL 传输加密和SSE 服务端加密。
整合性:与虚拟化平台、容器、大数据等服务紧密集成,提供友好的S3API 兼容性。
多租户:支持多租户模式,丰富的权限管理方式。
私有云存储方案介绍目录1.产品简介2.产品特性3.产品原理4.适用场景5.竞品分析1产品简介持久可用、按需扩容、开放兼容产品简介腾讯云私有云存储CSP(Cloud Storage on Private)是面向企业提供可扩展、高可靠、强安全、低成本的PB级海量数据存储能力,同时保证核心敏感数据私密性。
CSP提供客户机房私有部署、腾讯云机房专区部署两种方式,满足客户多种场景需求,并保障客户对系统100%可控。
S3、Swift 、FTP 、NFS 、CIFS 、iSCSI 、LibRBD 接口协议兼容集群状态监控数据一致性管理数据分布算法集群故障自愈X86 CPU SAS/SATA NVMe SSD 10GE/IB集群概览存储池管理主机管理用户管理日志管理集群巡检管理模块存储接入层存储桶管理对象管理权限控制读写缓存恢复控制生命周期管理集群巡检备份容灾配额管理压缩加密存储逻辑层存储引擎层硬件设备层OpenStack金融专有云T-Stack媒资编辑归档备份非结构化数据应用场景大数据分析媒资归档安防监控流媒体平台基因测序自动驾驶私有云平台CloudStack 结构化数据虚拟桌面数据库S3、Swift 、FTP 、NFS 、CIFS 、iSCSI 、LibRBD 接口协议C l u s t e r M a n a g e r 集群部署监控模块C l u s t e r M o n i t o r 分布式监控集群Index Storage 索引存储集群Index Storage Index Storage Index Storage Index StorageIndex StorageIndex StorageData Access 数据接入集群Data Access Data Access Data Access Data AccessData Storage Device(DSD)数据存储设备集群DSD DSD DSD DSD DSDDSDDSDDSD应用接入•S3、Swift 、FTP 、NFS 、CIFS 、iSCSI 、LibRBD •集群水平无限扩展•无单点故障数据层•数据跨机器存储•索引和数据模块水平扩展•自动精简配置集群监控部署•集群组件纬度监控•节点纬度监控•心跳检测,秒级切换•集群可视化部署2产品特性持久可用、按需扩容、开放兼容、高IO混合盘、冷热分层对象存储文件存储块存储数据中心A机架1机架2机架31.分布式架构2.副本/纠删码冗余策略3.支持主机、机架、数据中心容灾4.两地三中心容灾5.腾讯云COS备份6.恢复QoS7.硬件监控、磁盘Smart监控(坏块率、慢盘检测)数据中心B数据中心C最小集群4096+1.支持磁盘、主机、机架纬度扩容2.支持存储桶跨Pool ,减轻扩容对系统冲击3.支持配置数据均衡策略(按带宽)、数据均衡时间段(业务低峰期),减轻扩容对线上业务影响对象存储文件存储块存储机架1机架3私有云存储CSPS3、Swift 、FTP 、NFS 、CIFS 、iSCSI 、LibRBD私有云| OpenStack | 媒资归档| 大数据分析| 虚拟桌面| 数据库应用InfiniBand 、RDMA10GE 、40GE机架21.上游存储协议(S3、Swift 、FTP 、NFS 、CIFS 、iSCSI 、LibRBD )2.上游软件框架集成(OpenStack 、CloudStack 、ZStack 、金融私有云、媒资归档平台、大数据分析、虚拟桌面、数据库应用)3.底层硬件兼容(X86、NVMe 、IB 、RDMA )产品特性–高IO 方案1.访问IO 由访问层进入到存储集群,进行对应的协议转换,包括NFS/SMB 等2.在索引层获取对应数据的key value ,即寻址地址3.Cache 层中,会采用SSD 的介质,进行文件的合并,或者热数据的预读4.合并的小文件会存储到更为温冷的SATA 介质中,或者将温冷数据加载到Cache 层总Indexing 索引CacheDS 数据存储访问IO 1234产品特性–冷热沉降方案NVMeSSDSSD混合SATA SATA介质生命周期归档数据(年)Rarely Accessed安全事件通知版本控制跨区域复制“温”数据(天,月)Less-frequently Accessed“热”数据(秒,分,时)Active & Temporary1.根据策略可以将数据在不同热温冷的存储介质中进行迁移2.可以根据应用所需的吞吐,IOPS进行不同存储介质的选择,并且兼顾性价比3.对于生产、容灾场景,可以做到更为灵活的策略迁移大数据分析内容分发优选数据临时小文件媒体转码文件企业数据备份容灾跨地域冗余深度离线归档3适用场景安防监控、备份归档、大数据分析、混合云架构、企业网盘互联网专线接入实时监控回看高性能转码数据生命周期管理热数据缓存层S3兼容RESTful APISDK 开发包数据归档与备份数据降冷数据保护视频监控集中管理平台人工智能人脸验身区域境界人流统计物品追踪RTMPRTSPHLSFLV/MP4报警系统出入口控制系统管理腾讯私有云存储-CSP场景特点:1.高IO 吞吐带宽2.在线扩容3.数据到期自动删除4.敏感数据保护数据压缩纠删编码高密度机型低成本高可靠故障域隔离多副本冗余Smart 磁盘检测强安全数据生命周期数据加密数据保护适用场景–备份上云及云内备份适用场景–大数据分析&在线媒资编辑数据可视化Visualization 开发套件SDK实时SQL引擎Real-time SQL Engine数据挖掘Data Mining文本分析Text Mining消息队列Message Queue并行处理框架Map/Reduce数据采集平台Data Acquisition Platform结构化数据ETL工具标准协议HTTP/MQTT行业协议IEC/CSG数据存储Data Storage 高IO 吞吐>10GB性能、成本折衷权限管理分布式文件存储File Storage分布式对象存储Object Storage分布式块存储Block Storage海量小文件优化数据缓存场景特点:1.吞吐量大2.兼顾成本3.海量小文件优化4.权限管理适用场景–混合云架构数据分块/加密归档数据取回历史媒体带库非编站点加密磁带网关加密文件网关CSP私有化存储VTL数据分块/加密私有云公有云2-3PB~500TB 转码服务适用场景–企业网盘文件存储与内容管理多种自定义同步,云端同步状态实时监控,文件回收站,文件预览水印,文件历史版本,高级搜索系统,文件内容全文检索等安全日志与审计权限与角色管理文件夹权限设置,支持多维度权限组合查询,自定义角色系统,自定义权限继承模式等弹性网盘存储空间共享与协作消息与通知云端全同步,内部文件一键发送,临时文件夹共享借阅,文件评论,文件锁功能等高可靠,高可用基于腾讯云存储+云计算提供的IaaS通讯录与组织架构管理企业通讯录,部门隐藏模式,支持成员禁用状态,独立部门管理员配置等腾讯云+ 够快7*24 售后服务账号安全与管理数据私密性高敏感数据存储在私有环境内,非敏感数据存储在公有云中享受多种腾讯云优惠政策(云服务器,云存储,云硬盘)3技术细节方案-两层分布式架构母机子机/dev/sdaqume qcow2raw 存储cellcellcellM10TS6-10Gclientagentmaster mastermasterzookeeper接入控制中心读写IO 路径写IO 复制路径拓扑、路由和卷信息推送路径控制中心选主和元数据存储M10接入:包含client(IO)和agent(管理)模块,负责将CBS 以块设备形式在母机上展现存储:cell 模块,三份数据副本,基于链式复制,NRW 一致性模型,cache+binlog 写入模型控制中心:master 模块,基于ZK 实现高HA 的控制中心,负责管理拓扑、路由和卷信息BlockVolumeCell Cell CellConsistency hash●用户看到的逻辑地址空间由多个Block 组成,Block 大小1M ●用户请求通过一致性Hash 计算后,转发到相应Cell Pair方案-数据分布.1方案-数据分布.2●Disk 初始化为多个Block ,Block 大小与用户逻辑Block 一致●Block 是空间分配管理的最小单位●Tablet 是路由管理的基本单元,大小2GB●Tablet 包含若干固定大小BlockTablet TabletCP2Tablet TabletDiskBlock Block Block BlockBlock Block Block Block Block Logic View Physic Viewlazy 路由同步策略方案-路由同步•lazy 路由同步drivermastercellcellcellRouteIO ERR Route Get①master 路由更新master 推送路由到所有normal celldriver 正常IO 请求cell 返回路由异常driver get route 请求cell 返回路由增量当前cell 异常,driver get route 请求从masterRouteGetmaster 返回路由增量②③④⑤⑥⑦⑧master 保存路由表信息,cell 、driver 存路由副本(见CHT 结构)路由信息增量同步(减小同步路由信息大小)路由变更时master 主动推送路由到cellcell 上架时master 主动推送路由到新上cell driver (本机群)首次挂盘时master 主动推送路由到driverdriver IO 时发现路由版本低主动从主cell 拉取主cell 发现自身路由比driver 版本低从master 拉取主cell 发现自身路由比从cell 版本低从从cell 拉取从cell 发现自身路由比主cell 版本低从master 拉取所有向cell 拉取路由失败后都改为向master 拉取方案-多副本备份扇形多副本备份Cell (master)Cell (slave)Cell (slave)② write③ ack② write③ ack① write ④ ack Driver 数据写/删Cell (master)① read ② ack Driver 数据读取扇形多副本说明:a.cell (tablet)分主从b.主从节点以tablet 为粒度c.主从节点在tabletpair 中表示d.主节点down 升级从节点为主e.读请求从主节点读取f.写/删请求先路由到主节点,主节点并行路由到从节点•存储引擎示意图IO调度:调度触发:定时、水位当前活跃平面:block顺序落地非活跃平面:lru顺序落地先非活跃平面后当前平面方案-存储引擎内存布局:元数据、数据缓存区硬盘布局:meta双平面、binlog双平面、data区优化:增加binlog区,提升数据安全性优化调度,防止数据满导致的IO失败方案-故障恢复ClientReplicationReplicationReplication故障恢复节点①写请求②写备副本②写备副本③写主副本④写返回Binlog 增量恢复部署模型Cell Cell Cell CellMaster Client仓库:3x4组Cell•仓库模型:4组Cell ,构成,容量86T(1.8T*4*12)•Zone 规模:80PB(SSD+SATA)Master性能估算母机子机/dev/sdaqume qcow2raw 存储cellcellcellM10TS6-10Gclient接入T1T2T3T4T5IO 时延模型分析T1子机块设备和虚拟化路径,0.1msT2母机块设备IO 路径,<0.01ms T3Client 到主副本,0.4msT4主副本到从副本,0.4msT5磁盘读延时,10ms ;写延时,3ms简化模型:T total = T 读写磁盘+ T 非读写磁盘写延时:binlog 延时+flush 延时= 1000/50MB/18K(平均请求大小) + 1000/600(顺序化IOPS) = 2.06ms T total_NCBS <= T total_apollo谢谢。
腾讯专有云TCE Tencent Cloud Enterprise分布式云数据库TBase产品白皮书前言【版权声明】©2013-2020 腾讯云版权所有本文档著作权归腾讯云单独所有,未经腾讯云事先书面许可,任何主体不得以任何形式复制、修改、抄袭、传播全部或部分本文档内容。
【商标声明】及其它腾讯云服务相关的商标均为腾讯云计算(北京)有限责任公司及其关联公司所有。
本文档涉及的第三方主体的商标,依法由权利人所有。
【服务声明】本文档旨在向客户介绍腾讯云全部或部分产品、服务的当时的整体概况,部分产品、服务的内容可能有所调整。
您所购买的腾讯云产品、服务的种类、服务标准等应由您和腾讯云之间的商业合同约定,除非双方另有约定,否则,腾讯云对本文档内容不做任何明示或模式的承诺或保证。
【修订记录】01 2020-01-30 amyleali 第一次发布。
目录前言 (2)目录 (4)1.发展历史 (9)2.业务挑战 (11)2.1.业务迁移便利性 (11)2.2.分布式事务一致性 (11)2.3.服务高可用 (11)2.4.集群可扩展能力 (12)2.5.数据高安全保证 (12)2.6.HTAP-事务以及分析双引擎支持 (12)3.腾云HTAP数据库TBase解决方案 (13)4.产品核心功能 (15)4.1.SQL兼容度高 (15)4.1.1.兼容PostgreSQL语法 (15)4.1.2.兼容Oracle语法 (15)4.1.3.企业级数据库语法支持 (16)4.2.分布式事务全局一致性 (17)4.2.1.TBase的分布式事务全局一致性实现 (17)4.2.2.TBase分布式事务可靠性保证机制 (18)4.3.在线扩容能力 (19)4.4.HTAP事务及分析双引擎方案 (22)4.4.1.概述 (22)4.4.2.如何进行OLTP以及OLAP融合查询 (22)4.4.3.如何进行高效的分布式join (23)4.4.4.行列混合存储能力 (26)4.4.5.多核并行计算能力 (27)4.5.多级容灾能力保证 (31)4.5.1.容灾能力概述 (31)4.5.2.强同步复制 (31)4.5.3.故障自动恢复与转移 (31)4.5.4.基于时间点的恢复能力 (32)4.6.资源隔离能力-读写多平面 (34)4.7.卓越的数据安全保障能力 (34)4.7.1.三权分立体系 (35)4.7.2.数据存储加密 (37)4.7.3.透明数据脱敏 (38)4.7.4.强制访问控制 (39)4.7.5.全方位审计能力支持 (40)4.8.高效的数据治理能力 (41)4.8.1.概述 (41)4.8.2.数据倾斜解决方案 (41)4.8.3.冷热数据分级存储方案 (44)4.9.1.简单易用的TBase运维管理系统 (45)4.9.2.集群PASS平台能力支持 (45)4.9.3.运维系统亮点功能 (46)4.10.丰富的周边生态支持 (47)4.10.1.支持强大的GIS地理信息系统 (47)4.10.2.异构数据复制能力 (48)4.10.3.集群负载均衡能力 (49)4.10.4.JSON数据类型的支持 (50)4.10.5.强大的联邦数据库能力 (51)5.专有云方案简介 (52)5.1.部署架构与软件模块 (52)5.1.1.核心模块 (52)5.1.2.选配模块 (53)5.2.操作系统要求 (53)5.3.物理服务器机型配置建议 (53)5.3.1.功能测试配置 (53)5.3.2.性能测试配置 (55)5.3.3.最小规模配置 (57)5.3.4.服务器采购参考 (58)5.3.5.服务器采购参考 (61)5.3.6.单中心容灾部署建议 (61)5.4.1.同城双中心部署建议 (62)5.4.2.两地三中心部署建议 (62)5.5.TBase对接腾讯专有云平台(TCE) (63)5.6.TBase对接腾讯企业云平台(TStack) (63)6.TBase产品特有优势 (65)6.1.HTAP融合性数据库 (65)6.2.完全保障分布式全局事务一致性 (65)6.3.支持多级安全策略 (65)6.4.完备的运维管理系统支持 (66)7.产品资质 (67)8.典型应用场景 (68)8.1.HTAP业务需求系统 (68)8.2.物联网地理信息系统 (68)8.3.实时高并发事务系统 (68)8.4.海量存储计算需求 (69)8.5.数据高安全依赖型系统 (69)8.6.去O的最佳选择 (69)8.7.多点汇聚业务系统 (69)9.典型案例分享 (71)9.1.某省办事系统核心OLTP后台系统 (71)9.2.某省公安厅汇聚库建设 (71)9.4.东阳人民医院 (73)9.5.许继电器(智能电表物联应用) (73)9.6.微信支付商户订单系统 (74)10.附录 (75)10.1.通用约定格式 (75)10.2.功能术语表 (75)1.发展历史大数据时代的来临以及去IOE浪潮的兴起,大众的目光都投向了开源的系统,基于开源PostgreSQL扩展而来的tPG(tencent PG)系统作为腾讯商业数据库的替代方案,同时作为腾讯大数据平台TDW(Tencent Distributed Warehouse)的实时数据库组件2011年正式引入公司内部使用。
云计算规划方案目录1. 内容综述 (2)1.1 项目背景 (2)1.2 规划目标 (3)1.3 规划范围 (4)1.4 术语与缩略语 (6)2. 云计算环境现状分析 (7)2.1 现有资源分析 (8)2.2 业务需求分析 (10)2.3 技术能力分析 (11)3. 云计算规划目标 (12)3.1 业务目标 (13)3.2 技术目标 (14)4. 云计算架构设计 (15)4.1 总体架构设计 (16)4.2 数据中心设计 (18)4.3 网络架构设计 (20)4.4 安全架构设计 (21)5. 关键技术选型与实施策略 (22)5.1 云计算平台选型 (24)5.2 数据存储与处理技术 (25)5.3 安全技术选型 (28)5.4 运营与维护策略 (29)6. 实施计划 (32)6.1 项目管理计划 (33)6.2 任务分解与责任分配 (34)6.3 预算与成本控制 (35)6.4 风险评估与应对措施 (37)7. 评估与监控 (37)7.1 规划效果评估 (39)7.2 监控系统设计 (40)7.3 性能优化与调整计划 (42)1. 内容综述本文档旨在全面阐述企业云计算规划方案,为企业高效、安全、可扩展地迁移和运行业务于云端提供指导。
该方案将从现状分析、目标设定到实施策略、安全保障、成本控制等关键环节进行详细阐述。
通过本次规划,将明确企业云计算的最终目标,并根据企业自身特点和业务需求,确定最佳的云平台选择、云服务模式和资源配置方案。
还将对云迁移过程中可能遇到的挑战进行预判并制定应对策略,确保云计算转型过程顺利进行。
本方案旨在帮助企业充分利用云计算优势,降低IT成本,提升业务效率,实现数字化转型目标。
1.1 项目背景本项目旨在借助云计算技术构建一个高效、灵活且经济的计算基础设施,以支撑企业的日常运作及业务发展需求。
随着信息技术的飞速发展,企业对信息系统的依赖日益增强,随之而来的是对数据中心的计算资源需求不断增长。
智领·新常态智绘·新未来新华三UniStor 存储家族产品手册C O N T E N T S目录新华三存储产品家族■市场领导力1001新华三存储的领先之道■深刻技术洞察:智领新常态 02■业界最全面优秀的产品线组合 03■坚持的研发投入 0404■面向中小企业的入门级存储:H3C UniStor C F 2000 系列 06■智、快、稳、简的闪存存储:H3C UniStor CF5000系列08■轻松满足主存储需求的中高端全闪/融合闪存存储:H3C UniStor CF8800/9900系列■企业级融合闪存系统:H3C UniStor CF22000系列 12■面向H3C UniStor CF 中高端系列的存储软件 14■关键业务智能存储系统:H3C P rimera 60017■海量分布式融合存储:H3C UniStor X10000 G3系列产品 19■企业级备份一体机:H3C UniStor CB 备份一体机21■适用于异构环境的企业级备份和恢复软件:H3C UniStor CB 备份软件 23■有"备“无患 数据无忧:H3C UniStor CP 专用备份设备 25■完美满足企业数据保护与归档需求:H3C UniStor CT 磁带库 27■稳定可靠的存储网络:H3C CN 系列FC 交换机2905新华三存储服务■“驾”云“驭”数,新华三存储助力 31■新华三技术服务3231基于对企业数字化转型和存储发展趋势的深刻理解,新华三集团聚焦四大存储新常态,将存储战略核心定位为:闪存、海量数 据、人工智能、超融合。
面对企业在转型中最需要的支撑技术,新华三不仅致力于制造满足用户需求的产品,更要通过技术、 产品和解决方案为用户打造一条完成数字化转型的可行通路。
以“引领存储新常态 融绘数字未来”为愿景,紫光旗下新华三集团(以下简称“新华三”)将自主创 新与全球化产品相结合,提供业界最全面而出色的存储产品组合,可满足企业用户对国际领先及安 全可控等不同层次的存储需求;同时,拥有三十余年对行业客户需求的深刻洞察,以应用驱动为发 展战略,可全面、超前性地满足百行百业的高中低端场景化存储需求,助力企业数字化转型。
对象存储(CSP)产品架构设计
本文档著作权归腾讯云单独所有,未经腾讯云事先书面许可,任何主体不得以任何形式复制、修改、抄袭、传播全部或部分本文档内容。
及其它腾讯云服务相关的商标均为腾讯云计算(北京)有限责任公司及其关联公司所有。
本文档涉及的第三方主体的商标,依法由权利人所有。
本文档旨在向客户介绍腾讯云全部或部分产品、服务的当时的整体概况,部分产品、服务的内容可能有所调整。
您所购买的腾讯云产品、服务的种类、服务标准等应由您和腾讯云之间的商业合同约定,除非双方另有约定,否则,腾讯云对本文档内容不做任何明示或模式的承诺或保证。
编号修改日期修改人更新内容
01 2018-12-20 ajaxhe 第一次发布。
前言 (2)
目录 (4)
1.产品介绍 (5)
1.1.整体概述 (5)
1.2.产品优势 (5)
1.3.整体架构介绍 (6)
1.4.平台管理模块介绍 (7)
1.5.应用场景 (8)
2.功能介绍 (9)
2.1.关键业务流程 (9)
2.1.1.写请求 (9)
2.1.2.读请求 (9)
2.2.数据冗余策略 (9)
2.3.关键技术 (10)
1.产品介绍
1.1.整体概述
腾讯云对象存储旨在帮助客户降低企业存储数据成本,通过高效、灵活、自动化的方式,管理呈指数级增长的业务数据。
腾讯云私有云存储提供了大规模、可扩展的持久化分布式存储平台,管理分布式群集上的数据,并为对象级别提供存储接口,让您可以集中精力运行主要业务。
腾讯云对象存储服务是在腾讯多年的海量数据存储的经验之上,结合开源存储项目生态与自研组件服务,对外提供的可靠、安全、易用的海量存储平台。
您可以按需部署以实现企业的海量文件存储的需求,例如:文档、图片、视频等非结构化文件的存储。
使用HTTP RESTful API 协议作为基础接口,可以支持原生云计算应用、批量计算分析、归档备份以及内容分发等应用场景。
1.2.产品优势
数据稳定,持久可用。
基于腾讯公有云分布式存储架构,无单点故障;支持跨主机、跨机架、跨机房多种故
障域隔离策略;支持多副本方式冗余,数据分片存储分布在不同主机磁盘中。
弹性部署,按需扩容。
支持从TB 级到PB 级线性扩展,无需复杂的资源需求规划,即可满足业务增长需求,
提高资源利用率。
支持磁盘纬度、主机纬度在线扩容,批量部署,全图形化界面,快速
上线。
通用硬件,开放兼容
支持通用 x86 服务器,避免硬件厂商锁定;兼容S3访问接口协议,降低迁移成本;提
供RESTful API、多语言SDK,快速与上层应用集成。
简洁易用,灵活部署
提供简洁易用的可视化运维界面,掌握系统实时运行状态;支持客户机房部署、腾讯
云机房专区部署,满足不同场景需求;自动监控报警,故障时能快速定位、排查、解
决问题。
1.3.整体架构介绍
主要的模块如下:
⚫Data Access:负责对外提供API 接口,解析HTTP请求。
该模块无状态,可以根据用户流量的需求,实现分布式部署。
⚫Index Storage:负责存储对象元数据,该模块可以与Data Storage Device模块混合部署。
⚫Data Storage:模块负责管理磁盘存储,保障数据可靠性、安全性。
⚫
⚫
1.4.
1.5.应用场景
⚫安防监控
在安防监控领域,面对上千路监控视频流同时上传的业务场景,存储系统需要提供大容量IO 吞吐能力;受监管部门要求,存储系统还需要提供PB 级别存储能力以及监控视频检索能力。
⚫广电媒资
面对有大量UGC 内容生成、访问的业务场景,相比传统的磁盘阵列存储模式,对象存储分布式架构提供大容量IO 吞吐能力,能有效地解决了多点并发上传、下载的问题,轻松应对业务突发场景。
⚫备份归档
在法规要求下,很多行业(例如金融、医疗、传媒、教育、企业等)需要长期保存大量的合同、报表、邮件、工作文档等数据。
包括数据库在内的任何系统为了记录用户操作行为,需要保留大量用户行为日志。
将这些日志数据备份归档到对象存储中,将显著减少业务TCO成本。
⚫政企金融
受国家政策、行业监管要求,政企、金融客户需要将存储系统部署在自建机房中,分布式对象存储非常契合这类对安全要求较高的存储场景;数据文件分片散落在不同机架不同主机不同磁盘中,即便某台主机遗失,也无法恢复出原文件。
2.功能介绍
2.1.关键业务流程
2.1.1.写请求
数据写入可以分为如下步骤:
1.请求接入:使用特定语言的开发套件,与对象存储服务的接入节点建立连接,并向其发送数据。
2.数据分片:接入节点根据收到的数据,采取最优的分片策略,将一个较大的对象分为多个小文件。
3.数据路由:在接入节点完成分片后,根据这些信息,计算分片对应存储的机器节点,并将数据发送到对
应的存储节点。
4.数据存储:存储节点在收到数据后,将数据按照策略安全的保存为多副本或者纠删码。
2.1.2.读请求
1.数据读取操作与写入类似,只是数据流的流向不同。
2.请求接入:客户端与对象存储服务的节点建立连接,客户端向访问的节点请求数据。
3.数据路由:接入节点根据路由规则寻址到存储节点,读取相应的数据片。
4.数据修复:如果某些数据片损坏,存储节点将根据数据的存储策略进行相应的修复操作。
5.数据聚合:接入节点将数据片聚合为完整的数据,发送给客户端。
2.2.数据冗余策略
对象存储支持多种副本策略,来保证数据的持久性。
对于3副本策略,对于每一个对象,存储系统都会将其按照用户要求的故障域隔离级别,在多台机器上保存该对象。
在机器宕机或者其它不可恢复故障时,对象存储自动地将对象迁移到其它节点上,确保数据的完
整性。
3副本的冗余策略可以提供较高性能的读写能力,容忍磁盘损坏或者机器宕机等多种故障,保证数据可靠性。
2.3.关键技术
⚫无单点架构设计,PB级存储能力。
⚫对象存储系统的每个模块都是水平拓展的,没有故障单点,可以提供PB级别的存储能力。
在任意组件发生故障的时候,系统会自动修复数据。
对象存储系统基于分布式哈希算法来路由存储请求,客户端可以访问存储结点,简化存储路径,让对象存储系统具有优异的性能和海量的存储能力。
⚫海量文件存储与检索能力。
⚫对象存储针对于对象存储的读写场景,提供了key-based存储模型以及存储桶、对象的存储单位概念,简化了大量文件系统的不必要属性与语义,同时不同于传统文件系统的inode设计,对象存储独立数据与元数据的存储,让整个系统拥有海量文件的存储能力,不受inode的个数限制。
对象存储提供了简单实用的一致性模型"read-after-write",只要确认一个文件写成功,后续的所有读取操作都可以访问该文件,同时因为元数据的独立存储,检索路径短,与传统文件系统的多次系统调用相比,性能提升明显,让海量小文件存储没有瓶颈。