云存储部分功能描述
- 格式:doc
- 大小:27.50 KB
- 文档页数:6
云主机功能描述和应用场景云主机是一种虚拟化技术,用户可以在线预订服务器资源,并将计算机应用程序以及数据安装在虚拟服务器上,从而提供动态计算环境。
它不仅具有虚拟主机的优点,而且还可以有效利用资源,具有灵活的可扩展性,允许用户根据自己的需求,调整配置和硬件资源,实现更高的可用性和可靠性。
一、支持多种操作系统:云主机可以支持常见的Linux、Windows等操作系统,为用户提供多种选择,使用不同的系统以满足不同的业务需求。
二、配置灵活:云主机可以随时调整服务器配置,以满足不同的业务需求。
用户可以根据自己的需求来调整硬件资源,实现灵活的可扩展性。
三、安全可靠:云主机可以为业务数据提供安全性质的硬件配置,如服务器存储、网络连接、安全监控等。
同时也支持多层防火墙,确保业务数据的安全性。
四、易于维护:云主机提供可靠的运行服务,并提供轻松的主机维护方式,可以大大简化用户的维护任务,确保业务系统的安全稳定可靠运行。
五、可伸缩:云主机可以按应用需求,随时扩展硬件配置,实现按需伸缩,效率更高,节约投资成本。
六、易于部署:云主机简化了应用部署的流程,用户无需关心服务器的安装部署,直接通过WEB面板部署应用,可以大大节省时间。
应用场景云主机给用户带来了更加可靠和高效的服务,在以下条件下可以考虑使用云主机:一、应用密集型:当业务对服务器计算资源要求较高时,可以考虑使用云主机,以满足应用程序的要求。
二、外边可拓展:当业务可能随时需要扩展服务器资源时,可以考虑使用云主机以获得更灵活的环境,更方便的实现扩展。
三、需要更快的交付时间:当需要尽快投入业务时,可以考虑使用云主机,以提升时间效率,节约投资成本。
四、资源可回收:当业务发生变化,服务器资源无需保留时,可以考虑使用云主机,以便节省资源的开支。
五、安全性要求高:当服务器需要能够确保数据安全性时,可以考虑使用云主机,以满足不同程度上的安全性要求。
海康威视视频云存储解决方案V2.1阅读提示文档控制正文目录第一章概述..................................................1.1 系统简介.............................................1.2 设计原则.............................................1.3 设计目标.............................................1.4 术语及缩略语解释.....................................1.4.1 术语解释.........................................1.4.2 英文/缩略语解释.................................. 第二章总体设计..............................................2.1 需求说明.............................................2.1.1 功能性需求说明...................................2.1.2 非功能性需求说明.................................2.2 技术路线.............................................2.3 逻辑架构.............................................2.4 系统特点.............................................2.4.1 高效灵活的空间管理...............................2.4.2 海量数据的快速检索...............................2.4.3 持续可靠的数据服务...............................2.4.4 高可扩展的应用支撑...............................2.4.5 开放透明的兼容系统...............................2.5 应用场景.............................................第三章视频类云存储设计......................................3.1 系统软硬件设计.......................................3.1.1 软件设计.........................................3.1.2 硬件设计.........................................3.2 系统物理拓扑.........................................3.3 系统功能设计.........................................3.3.1 视频存储功能.....................................3.3.2 录像管理功能.....................................3.3.3 系统管理功能.....................................3.3.4 运维管理功能.....................................3.4 系统业务流程.........................................3.4.1 视频存储流程.....................................3.4.2 视频检索流程.....................................3.4.3 视频读取流程.....................................3.5 系统项目设计.........................................3.5.1 项目信息收集.....................................3.5.2 云存储设计流程...................................3.5.3 云存储管理服务器设计.............................3.5.4 存储容量计算.....................................3.6 系统软硬件总参考清单................................. 第四章图片类云存储设计......................................4.1.1 软件设计.........................................4.1.2 硬件设计.........................................4.2 系统物理拓扑.........................................4.3 系统功能设计.........................................4.3.1 图片存储功能.....................................4.3.2 系统管理功能.....................................4.3.3 运维管理功能.....................................4.4 系统业务流程.........................................4.4.1 图片存储流程.....................................4.4.2 图片检索流程.....................................4.4.3 图片下载流程.....................................4.5 系统项目设计.........................................4.5.1 项目信息收集.....................................4.5.2 云存储设计流程...................................4.5.3 云存储管理服务器设计.............................4.5.4 存储容量计算.....................................4.6 系统软硬件总参考清单................................. 第五章视频、图片混合云存储设计..............................5.1 系统软硬件设计.......................................5.1.1 软件设计.........................................5.2 系统物理拓扑.........................................5.3 系统功能设计.........................................5.3.1 视频存储功能.....................................5.3.2 录像管理功能.....................................5.3.3 图像存储功能.....................................5.3.4 系统管理功能.....................................5.3.5 运维管理功能.....................................5.4 系统业务流程.........................................5.4.1 视频业务流程.....................................5.4.2 图片业务流程.....................................5.5 系统项目设计.........................................5.5.1 项目信息收集.....................................5.5.2 云存储设计流程...................................5.5.3 云存储管理服务器设计.............................5.5.4 云存储存储设备设计...............................5.6 系统软硬件总参考清单................................. 第六章存储技术对比分析......................................6.1.1 存储技术现状.....................................6.1.2 存储技术对比分析................................. 第七章附件..................................................7.1 《视频云存储容量计算工具》...........................7.2 主要硬件产品介绍.....................................7.2.1 存储管理服务器...................................7.2.2 存储主机.........................................表格目录表1 视频监控云存储与传统集中存储对比表.................... 表2 视频监控云存储与文件云存储对比表......................图片目录图1. 云存储逻辑架构图..................................... 图2. CVM软件架构.......................................... 图3. CVS软件架构.......................................... 图4. CVA软件架构.......................................... 图5. ASS软件架构.......................................... 图6. 视频云存储物理结构图................................. 图7. 视频云存储系统功能图................................. 图8. 视频存储流程......................................... 图9. 视频检索流程......................................... 图10. 视频读取流程........................................ 图11. 管理节点双机部署方式................................ 图12. 管理节点集群部署方式................................ 图13. CVM软件架构.........................................图14. CVS软件架构......................................... 图15. ASS软件架构......................................... 图16. 图片类云存储系统物理结构............................ 图17.视频云存储系统功能.................................. 图18. 图片直存流程........................................ 图19. 图片非直存流程...................................... 图20. 图片下载流程........................................ 图21. 管理节点双机部署方式................................ 图22. 管理节点集群部署方式................................ 图23. CVM软件架构......................................... 图24. CVS软件架构......................................... 图25. CVA软件架构......................................... 图26. ASS软件架构......................................... 图27. 视频图片混合云存储物理结构图........................ 图28. 视频云存储系统功能图................................ 图29. 管理节点双机部署方式................................ 图30. 管理节点集群部署方式................................ 图31. CVR直连存储图....................................... 图32. 视频云存储拓扑图....................................第一章概述1.1 系统简介随着视频监控系统规模越来越大,以及高清视频的大规模应用,视频监控系统中需要存储的数据和应用的复杂程度在不断提高,且视频数据需要长时间持续地保存到存储系统中,并要求随时可以调用,对存储系统的可靠性和性能等方面都提出了新的要求。
五步教你使用云存储服务云存储服务已经成为现代生活中不可或缺的一部分。
通过它,我们可以方便地存储和共享各种类型的数据,如文档、照片和视频。
本文将介绍使用云存储服务的五个简单步骤,帮助您更好地管理和利用您的数据。
第一步:选择适合您的云存储服务提供商在开始使用云存储服务之前,您需要选择一个合适的云存储服务提供商。
市场上有很多选择,如Google云存储、亚马逊S3和Microsoft Azure。
您可以根据自己的需求,比较各种服务提供商的价格、存储容量和功能,选择最适合您的云存储服务提供商。
第二步:创建账户并登录云存储服务在选择好云存储服务提供商后,您需要创建一个账户并登录。
一般来说,您需要提供一些个人信息和支付方式。
请确保您提供的信息准确无误,这将有助于您更好地管理您的云存储服务。
第三步:上传您的数据到云存储成功登录后,您可以开始上传您的数据到云存储。
不同的云存储服务提供商可能有不同的上传方式。
有些服务提供商提供桌面应用程序,可以方便地将您的文件拖放到特定的文件夹中进行上传。
另外,您还可以通过浏览器上载文件。
无论您选择哪种方式,确保您的上传文件过程顺利完成,并且文件没有损坏。
第四步:组织和共享您的数据一旦您上传了数据,您需要组织它们以便更好地管理。
您可以创建文件夹和子文件夹,将相关的文件放在一起。
此外,您还可以添加标签和描述,以便更轻松地查找和识别您的文件。
除了组织文件,云存储服务还允许您与他人共享数据。
您可以生成共享链接,并将其发送给其他人,让他们可以访问您的文件。
此外,您还可以设置权限,控制其他人可以查看和编辑的文件范围。
这样,您可以更好地与团队合作,并共享有关项目的信息。
第五步:保护您的数据安全数据安全是使用云存储服务时需要特别关注的问题。
确保您的账户和文件都有强密码,并定期更改密码以保持安全性。
大多数云存储服务提供商还提供额外的安全功能,如多因素身份验证、数据加密和访问日志记录。
您可以根据自己的需求启用这些功能,以提供额外的保护。
浪潮存储系统AS2150G2&AS2200G2&AS2600G2&AS530 0G2& AS5500G2&AS5600G2&AS5800G2&AS6800G2基本功能配置手册文档版本 4.0发布日期2020-09-28适用FW版本 5.1.0.x尊敬的用户:衷心感谢您选用浪潮存储系统!浪潮存储秉承“云存智用运筹新数据”的新存储之道,致力于为您提供符合新数据时代需求的存储产品和解决方案。
本手册用于帮助您更详细地了解和便捷地使用本存储系统,涉及的截图仅为示例,最终界面请以实际设备显示的界面为准。
由于产品版本升级或其他原因,本手册内容会不定期进行更新,如有变动恕不另行通知。
除非另有约定,本手册仅作为使用指导,本手册中的所有陈述、信息和建议不构成任何明示或暗示的担保。
浪潮拥有本手册的版权,保留随时修改本手册的权利。
未经浪潮许可,任何单位和个人不得以任何形式复制本手册的内容。
如果您对本手册有任何疑问或建议,请向浪潮电子信息产业股份有限公司垂询。
技术服务电话:4008600011地址:中国济南市浪潮路1036号浪潮电子信息产业股份有限公司邮编:250101在您正式使用本存储系统之前,请先阅读以下声明。
只有您阅读并且同意以下声明后,方可正式开始使用本存储系统。
如果您对以下声明有任何疑问,请和您的供货商联系或直接与我们联系。
如您在开始使用本系统前未就以下声明向我们提出疑问,则默认您已经同意了以下声明。
1.请不要自行拆卸本存储系统机箱及机箱内任何硬件设备。
在本存储系统出现任何硬件故障或您希望对硬件进行任何升级时,请您将机器的详细硬件配置反映给我们的客户服务中心。
2.请不要将本存储系统的设备与任何其他型号的相应设备混用。
本存储系统的内存、CPU、CPU散热片、风扇、硬盘托架、硬盘等都是特殊规格的。
3.在使用本存储系统时遇到任何软件问题,请您首先和相应软件的提供商联系。
云存储技术的广泛应用使人们能够方便地存储和共享大量的数据和文件。
然而,随着云存储使用者的增多,文件权限问题也逐渐浮现出来。
在本文中,将探讨如何解决云存储中的文件权限问题。
一、云存储的文件权限问题描述云存储平台通常支持文件夹和文件的权限设置,以便让用户能够控制谁能够访问和修改他们的数据。
然而,文件权限问题往往不仅仅涉及到这些基本的权限设置。
例如,用户在云存储上创建了一个文件夹,并将其设为“私有”模式,只有他自己能够访问。
但是,如果用户在共享此文件夹时,没有注意设置细分的权限,那么其他人可能仍然可以访问和修改文件夹内的文件。
二、加强文件夹和文件权限设置的控制为解决云存储中的文件权限问题,第一步是加强对文件夹和文件权限设置的控制。
一种方法是让用户能够设置更细分的权限,例如设置哪些用户可以查看、编辑或下载文件,甚至可以设置只能预览文件而不能下载等。
这样的设置将更好地满足用户的需求,且可以减少权限泄露的可能性。
三、引入审核流程和权限审计机制除了加强权限设置,引入审核流程和权限审计机制也是解决文件权限问题的重要环节。
通过引入审核流程,可以确保只有经过审核的共享请求才能获得访问权限。
权限审计机制则可以记录和监控用户对文件的访问和修改行为,一旦发生异常操作或权限泄露,可以及时发现并采取措施阻止进一步的访问。
四、加强用户教育和意识培养除了技术手段,加强用户教育和意识培养也是解决文件权限问题的必要措施。
许多文件权限问题往往是由于用户在使用云存储平台时缺乏相应的知识和意识造成的。
因此,云存储平台应提供相关的使用指南和培训,帮助用户正确设置和管理文件权限,同时提醒用户注意保护自己的数据安全。
五、加强云存储平台的安全措施云存储平台作为存储用户数据的重要基础设施,应加强自身的安全措施,以保护用户的文件权限。
平台可以加密用户的数据,确保只有合法用户和具有权限的用户才能访问。
此外,云存储平台还可以采用多因素认证、访问控制等技术,提高平台本身的安全性。
执法记录仪(同步录音录像)及云存储解决方案目录1项目必要性及需求分析 (4)1.1 视频采集需求 (5)1.2 云存储需求 (5)1.2.1 容量需求 (5)1.2.2 吞吐量需求 (5)1.2.3 扩展性需求 (6)1.2.4 低成本需求 (6)1.2.5 可维护性需求 (6)1.2.6 接口需求 (6)1.3 云传输需求 (6)1.3.1 传输效率需求 (6)1.3.2 稳定性、并发性需求 (6)1.4 云点播需求 (7)1.4.1 数据安全性需求 (7)1.4.2 并发性需求 (7)1.5 接口开放性需求 (7)2平台总体架构设计 (8)2.1系统基本功能 (8)2.2整体架构图 (8)2.3系统模块描述 (9)2.3.1 执法记录系统 (9)2.3.2 云存储系统 (9)2.3.3 云传输中心端 (9)2.3.4 流媒体服务器集群 (9)2.3.5 客户端 (9)3系统方案 (11)3.1视频采集方案 (11)3.1.1执法记录仪简介 (11)3.1.2 系统功能描述 (11)3.2云存储方案 (14)3.2.1cStor简介 (14)3.2.2系统基本组成 (15)3.2.3系统功能描述 (16)3.2.4cStor主要优势 (22)3.2.5关键技术 (23)3.3云传输方案 (25)3.3.1cTrans简介 (25)3.3.2关键技术 (26)3.3.3总体结构 (27)3.3.4功能组件 (29)3.3.5接口与集成 (31)3.4云点播方案 (33)3.4.1流媒体模块 (33)3.4.2流媒体服务器集群系统构架 (34)3.4.3流媒体负载均衡 (35)3.4.4视频流分发功能 (37)3.4.5流媒体服务器性能 (37)1项目必要性及需求分析执法记录是安防监控必不可少的重要组成部分。
而视频监控系统是执法监控的主要基础,它保证了所有活动都在监控中心的可视范围内,同时又保证了出现相关事故后所有视频录像文件可供查证,因此,视频监控系统是公安顺利执法的基础和保证。
数据存储方案数据存储方案指的是将数据保存在特定的存储介质中,以便后续读取和处理。
数据存储方案的选择关系到数据的安全性、可靠性、扩展性和性能等因素。
下面是一个数据存储方案的简要描述,包括存储介质、存储结构、备份和恢复、扩展性和性能等方面。
存储介质的选择是数据存储方案的首要考虑因素。
目前常见的存储介质包括硬盘、固态硬盘(SSD)、闪存、磁带和云存储等。
硬盘是最常用的存储介质之一,其容量大、价格相对低廉,适合大规模数据存储。
SSD具有快速的读写速度和低延迟,适合对响应时间要求较高的应用场景。
闪存适用于小型设备和移动设备,如智能手机、平板电脑等。
磁带是一种便宜且容量大的存储介质,适合长期备份和归档数据。
云存储则提供了高可用性和可扩展性,并且不需要用户自行管理硬件设备。
存储结构是指数据在存储介质上的组织方式。
常见的存储结构包括文件系统、数据库和对象存储等。
文件系统是最简单的存储结构,适用于较小规模的数据存储。
数据库提供了结构化数据存储和高效的数据访问功能,适用于需要频繁读写数据的应用场景。
对象存储则采用非结构化的数据存储方式,适用于大规模的数据存储和分布式系统。
备份和恢复是数据存储方案中非常重要的一环。
数据备份可以保障数据的安全性,防止因硬件故障、人为失误或灾难等原因导致的数据丢失。
备份可以在不同的存储介质上进行,如将数据备份到磁带、硬盘或云存储中。
数据恢复则是在数据丢失或损坏后将备份数据重新恢复到正常状态。
恢复操作要确保数据的一致性和完整性。
扩展性是指数据存储方案的可扩展性。
数据存储方案需要能够灵活地扩展存储容量,以适应不断增长的数据量。
一种常见的扩展方式是采用分布式存储系统,将数据存储在多个物理节点上,并通过数据分片和复制等技术来提供高可用性和容错性。
性能是数据存储方案中的另一个重要考虑因素。
性能包括数据的读取速度、写入速度和响应时间等指标。
选择合适的存储介质和存储结构以及优化存储系统的配置可以提高数据存储的性能。
云计算服务解决方案方案描述一、背景介绍随着信息技术的不断发展,云计算作为一种新兴的计算模式,已经被广泛应用于各个行业。
云计算通过提供灵活、可扩展的计算资源,为企业和个人提供了更高效、更便捷的计算服务。
为了满足不同企业的需求,我们公司经过深入研究和分析,制定了一套全面的云计算服务解决方案。
二、解决方案概述我们的云计算服务解决方案旨在帮助企业实现资源的高效利用和成本的最小化。
通过将企业的计算、存储和网络等资源集中管理,我们可以提供以下核心服务:1.弹性计算服务我们提供可弹性调整的计算资源,根据企业的需求进行灵活的扩容和缩容。
通过我们的弹性计算服务,企业可以根据业务的变化快速调整计算资源的规模,从而提高计算效率和降低成本。
2.高可用性存储服务我们提供高可用性的云存储服务,确保企业数据的安全和可靠性。
通过数据冗余和备份机制,我们可以保证数据的可用性,防止数据丢失和业务中断。
同时,我们还提供数据加密和访问控制等安全措施,保护企业数据的机密性和完整性。
3.灵活的网络服务我们提供灵活的云网络服务,帮助企业构建安全、可靠的网络架构。
通过虚拟网络技术,我们可以实现企业内外网络的隔离和互联,提供安全的数据传输和访问控制。
同时,我们还提供带宽和流量控制等功能,满足企业对网络资源的需求。
4.数据分析和人工智能服务我们提供数据分析和人工智能服务,帮助企业挖掘数据的潜在价值。
通过大数据分析和机器学习等技术,我们可以帮助企业进行数据挖掘、预测分析和智能决策,提高企业的竞争力和创新能力。
三、解决方案优势我们的云计算服务解决方案具有以下优势:1.灵活性和可扩展性:我们的解决方案可以根据企业的需求进行灵活的调整和扩展,满足不同规模和业务需求的企业。
2.高可靠性和安全性:我们提供高可用性的计算和存储服务,确保企业数据的安全和可靠性。
同时,我们采用先进的安全措施,保护企业数据的机密性和完整性。
3.成本效益:我们的解决方案可以帮助企业降低IT成本,提高资源的利用率。
简述数据中心的组成及功能数据中心是现代信息技术架构中不可或缺的重要组成部分。
它是一个集中存储、管理和处理大量计算机和网络设备的场所,用于支持各种应用和服务。
本文将对数据中心的组成和功能进行简要描述。
一、数据中心的组成1. 服务器和硬件设备:数据中心通常包含大量的服务器和硬件设备,这些设备用于存储和处理海量的数据。
服务器被用来提供各种服务,如网站托管、数据库管理等。
硬件设备包括网络设备、存储设备等,用于连接和存储数据。
2. 网络架构:数据中心的网络架构是其关键组成部分,它确保各种设备之间的高速稳定连接。
常见的网络架构包括以太网和光纤通信等。
通过这些网络架构,数据中心内的设备可以相互通信和共享数据。
3. 电源和冷却系统:数据中心需要提供稳定可靠的电力供应,以保证设备的正常运行。
此外,由于大量设备运行会产生大量热量,数据中心还需要强大的冷却系统,以保持设备温度的稳定。
4. 安全措施:数据中心存储和处理的是重要的商业和个人数据,因此安全是至关重要的。
数据中心通常配备多重安全措施,如物理访问控制、监控摄像头、防火墙等,以确保数据的机密性和完整性。
二、数据中心的功能1. 数据存储和备份:数据中心提供了大规模的数据存储空间,用于保存企业和个人的数据。
同时,数据中心还配备了备份系统,以确保数据的安全和可靠性。
2. 数据处理和计算:数据中心的主要功能之一是处理和计算大量的数据。
通过高性能的服务器,数据中心能够进行复杂的计算任务,如数据分析、模拟和推理。
3. 提供云计算服务:数据中心为用户提供各种云计算服务,如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。
这些服务使用户能够根据需要获取计算资源和应用程序,而无需购买和维护自己的硬件设备和软件。
4. 网络连接和传输:数据中心通过网络连接不同的设备和系统,实现数据的传输和共享。
通过高速的网络架构和优化的算法,数据中心能够提供快速和稳定的网络连接。
移动云盘的挂载盘用法1.引言1.1 概述概述移动云盘作为一种基于云计算技术的存储解决方案,为用户提供了便捷、安全和高效的文件管理服务。
相较于传统的硬盘存储方式,移动云盘具有很多独特的优势和功能,因此在现代社会得到了广泛的应用。
本文将重点介绍和探讨移动云盘的挂载盘用法。
挂载盘是移动云盘中一项重要的功能,它可以将云端存储空间中的文件和文件夹以虚拟磁盘的方式映射到本地计算机上。
通过挂载盘,用户可以像使用本地硬盘一样方便地操作和管理云端的文件。
在本文的后续内容中,我们将详细介绍移动云盘的概念和作用,以及挂载盘的定义和功能。
同时,我们还将讨论挂载盘的优势和应用场景,并提供使用挂载盘时需要注意的事项。
通过深入了解和掌握挂载盘的用法,读者将能够更好地利用移动云盘提供的便利功能,提高工作效率和文件管理的便捷性。
无论是个人用户的日常文件管理,还是企业组织的协同工作,移动云盘的挂载盘用法都将为用户带来极大的便利和价值。
随着移动云盘技术的不断发展和创新,挂载盘的功能也将不断增强,并且将逐渐成为各行各业中必不可少的工具。
因此,通过本文的学习和了解,将使读者对移动云盘挂载盘的用法有更深入的理解和应用能力。
在接下来的章节中,我们将一步步深入挖掘移动云盘的挂载盘用法,带领读者更好地掌握和应用这一功能,从而实现更高效、便捷的文件管理和共享。
1.2 文章结构文章结构部分的内容如下:文章结构部分的目的是为读者提供一个清晰的导读,让读者能够更好地了解整篇文章的组织和内容安排。
本文按照以下结构展开:第一部分是引言。
引言部分将概述本文的主要内容和目的,介绍移动云盘的概念和作用,并给出文章的整体结构安排。
第二部分是正文。
正文部分将详细阐述移动云盘以及挂载盘的定义、功能和特点。
其中,将介绍移动云盘的概念和作用,以及挂载盘的定义和功能。
通过对挂载盘的详细描述和分析,读者能够了解挂载盘的工作原理、应用场景和优势。
第三部分是结论。
结论部分将总结挂载盘的优势和应用场景,并提醒读者在使用挂载盘时需要注意的事项。
宇视科技推出的全新一代分布式云存储系统产品,采用无元数据的全对称分布式架构,以大规模横向扩展、纵向扩展能力以及PB级单一存储空间为视频监控等应用提供非结构化数据共享存储资源。
云存储系统支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议,兼容HDFS API,支持Hadoop应用,充分满足各种业务需求。
1.1 空间虚拟化Uni-FS是运行于我司云存储系统所有存储节点之上的分布式文件系统,它将各物理存储设备节点组成一个集群,对外提供文件存取和数据保护等功。
它采用无元数据设计的全对称分布式架构,支持3~300个存储节点的弹性无缝扩展,可提供PB级单一存储空间。
1.2 全局统一命名空间分布式文件系统最大的特点之一就是提供全局统一的命名空间。
全局统一命名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池,对上层用户和应用屏蔽了底层的物理硬件。
存储资源可以根据需要在虚拟存储池中进行弹性扩展。
全局统一命名空间可以让不同的用户通过单一挂载点进行数据共享,I/O可在命名空间内的所有存储设备上自动进行负载均衡。
我司云存储系统是基于Uni-FS文件系统提供统一命名空间,在同一个云存储系统中可以同时有多个Uni-FS文件系统的卷(物理资源池,由多个存储设备的资源组成),不同的卷创建的文件系统有不同的命名空间。
我司云存储系统同时也是基于Uni-FS文件系统的卷提供共享文件目录,因此不同用户可通过访问这个单一的共享文件目录,实现IO在这个Uni-FS 文件系统命名空间内的所有存储设备上自动负载均衡。
1.3 弹性扩展我司云存储系统的无元数据,通过弹性HASH算法定位文件访问的架构,决定了我司云存储系统获得了接近线性的高扩展性。
我司云存储系统支持从横向和纵向的扩展模式,实现在容量、性能和带宽三方面的线性扩展。
Scale-Out横向扩展:通过增加存储节点,实现系统容量、性能和带宽的扩展。
存储节点最大可扩展至300个。
Scale-up纵向扩展:在单节点的硬件性能范围内,通过增加磁盘扩展柜和磁盘实现系统容量和性能的扩展。
1.4 认证与权限管理我司云存储系统支持本地认证和外部域认证,域认证支持外部AD域服务器认证(适用于CIFS文件共享),外部LDAP域服务器认证(适用于NFS文件共享)和外部NIS域服务器认证(适用于NFS文件共享)。
在云存储系统中,共享文件夹针对用户、主机或用户组可以设置相应的读写访问权限。
1.5 配额管理当卷处于挂载状态时(工作状态),对共享文件夹设置系统用户的配额,可以限制该系统用户在共享文件夹下的最大写入数据大小。
一个用户可以在多个共享文件夹下拥有不同配额,一个共享文件夹下也可以有多个不同配额的用户。
配额的设置又分为硬配额和软配额的配置,先介绍下硬配额和软配额的定义:硬配额:一旦设置了硬配额大小,当用户数据达到配额大小时用户无法再写入新的数据,系统可根据设定发送配额通知邮件给用户。
软配额:一旦设置了软配额大小,当用户数据达到配额大小时系统可根据设定发送通知邮件给用户,但用户仍可以在容许时间内写入新的数据,如果未配置硬配额,则可以写入数据直到达到可用卷资源的大小;如果设置了硬配额,则可以写入到硬配额的大小。
1.6 负载均衡与故障切换我司云存储系统提供前端虚拟IP地址池,为节点分配动态IP地址,客户端根据域名访问云存储系统,采用轮询的方式为客户端(流媒体服务器等)返回不同的IP地址,实现业务在不同节点上进行读写访问,从而达到业务负载均衡的目的。
1.7 统一管理管理同时支持图形界面和命令行方式。
管理员可以通过Master浮动IP地址访问统一的网管界面,完成对集群系统的监控、配置、资源分配、性能统计和告警浏览等操作。
支持Email,SNMP Trap,短信,蜂鸣器,指示灯,数码管等多种告警方式。
2 安防业务方案设计2.1 视频云直存视频云存储组网,采用scale-out结构,分离数据平面和控制平面,即媒体流带外的方式,从IPC到存储节点直接写入,中间无需其他服务器的介入。
视频云存储组网中IPC主动管理存储计划和前端智能数据告警,可以及时触发告警录像,同时简化了后端云存储架构,降低了存储业务压力,可以让云存储系统专注读写,更好的满足用户的存储需求。
应该说,视频云直存模式是在宇视块直存基础上延伸出来的云存储模式,汲取了SAN 共享技术及分布式文件系统的块分配策略,突出解决了空间按需占有、弹性扩容及负载均衡等问题。
2.2 图片CDS云存储图片云存储组网相对视频增加了TMS(智能交通管理服务器),主要负责图片智能数据分析、黑白名单及研判等业务,在IPC完成一定数量的图片存储后,以事务的方式上传卡口智能数据到TMS服务器。
图片大小一般从几KByte到上MByte不等。
大量的图片小文件对元数据的操作开销非常大,既增加了总体数据的写入数量,也增加了磁盘的随机读写,同时也容易产生磁盘碎片。
为此,从底层重新设计了块分配及元数据的组织算法,通过重组的方法将图片流化处理,充分利用视频存储的块组织模式。
海量小文件存储(简称LOSF,lots of small files)是业界难题。
业内有些厂家为了快速实现功能,将非结构化的图片采用表式的数据库存储技术,存在表容量大、内存消耗大、查询路径长、容量难扩展等缺点。
宇视科技参考淘宝、微信、Facebook等互联网技术,采用流式的对象存储技术,并把索引结构从秒级扩展到帧级,可以很好的解决上述问题。
图片的索引和内容分开处理,将结构化的图片索引存储入千亿级数据库可以快速检索、易扩展,非结构化的图片经过聚合处理后存入数据对象,实现千亿级图片存储。
并行智能分析系统的性能提升除了提高智能算法,同时也要避免浪费大量的时间在iowait上等待数据。
分布式存储系统的读取包含:从千亿级业务数据库获取图片索引,从千亿级元数据列表获取数据节点ID,从PB级的存储中读取数据,在数据中定位到单帧图片。
其中每一步的耗时都达到秒级以上。
宇视CDS的图片无元寻址技术将图片的元数据信息嵌入文件名,减少元数据的读取,从而快速定位到单帧图片。
提高业务体验的同时,也增加了云存储的查询性能和集群规模。
获取图片的业务延时达到了50毫秒,端到端打通了智能分析的IO瓶颈,大大提高了图片并行分析速度。
2.3 集群化媒体获取服务设计数据读取流程云存储当前提供了两种最常用的数据读取服务,RTSP点播回放服务(针对视频业务)和Http服务(针对图片业务)。
Http服务直接部署在CDV上,客户端通过URL地址就可以显示和下载图片。
这种方式的带来的好处是减少数据读取的中间环节,而且由于数据分布上在写入时经过客户段负载均衡后,大批量下载可以充分利用多CDV节点的读取能力。
RTSP点播服务中引入了VOD集群功能,即用户可以随需配置,从而满足大规模的点播和下载需要,而且VOD集群会进行一定的数据缓存处理,从而在一定程度上降低对后端存储的压力,同时起到一定的CDN(内容分发网络)功能,提升播放体验。
离散化的数据在存储集群的各个节点进行数据整合,统一向数据分发层的VOD集群提供数据服务。
存储集群里的各个节点自身支持负载均衡和缓存加速,避免了热点数据对单个存储节点的性能消耗。
同时VOD集群里的各个服务器支持集群和级联,单台提供512路并发接入,可接入超高并发的客户端,并提供录像切片、同步回放、即时回放、倍速快进/快退等功能。
同时客户端的录像下载服务由存储节点直接提供,可以减少IO路径,可提供100MBps 的极速下载特性,如果不考虑网络瓶颈、CPU瓶颈、本地硬盘读写瓶颈,下载速度还可以更快。
2.4 数据生命周期管理宇视云存储方案,一方面对存储空间进行池化处理,另一方面也对安防数据业务进行了更合理的空间规划和数据可靠性保障。
2.4.1 业务分组隔离支持将存储节点根据业务类型分组部署,并将业务数据流控制在分组内,保证数据流的路径可控,且在同一存储节点分组内,能支持视频、图片等不同类型的混合业务。
2.4.2 用户空间针对不同业务类型进行优化用户空间是在不同的存储共享池上分配的业务可用空间。
系统设计时考虑到视频流与图片流有不同的业务特征,将用户空间附加了业务属性,并在存储节点的数据流写入过程中进行针对性优化。
连续化、顺序性是视频业务的突出特性,而这个特性对于连续存储空间的要求非常突出,这样才能发挥物理硬盘的最大性能,效能比才能达到最大。
而图片流,对于大量图片相机发生源并不具有较好的连续性和顺序性,缩略图、合成图等不同类型的图片大小差别非常大,通过图片块化整合,将并发的大量相机的图片写入操作,整合为近似视频流的模式,达到性能的最大化。
2.4.3 多维度的空间配额对于监控业务来说,留存期是一个突出的特征,保证每个相机固定的留存期是监控存储系统的基本功能,因此,系统设计了多个维度的空间配额控制。
首先,创建存储共享池时会指定存储节点分组,从而限制业务范围只能在有限的存储节点范围内,避免对其他存储节点的影响。
其次,用户空间在存储共享池内会先配置空间配额,该用户使用的空间不能超过配额的限制,避免对其他用户空间的占用。
最后,业务系统在配置每个相机的留存期时,会在用户空间上再次指定使用配额,避免对其他相机留存期的影响。
2.4.4 细粒度的数据冗余策略通用云存储都是在一个统一的存储层面,比如设定目录或是节点的冗余策略,常见的如多副本策略或是纠删码等方式,这种方式是割离了计算,单纯从存储层面进行的数据保障措施,但其粒度过大,性能开销大,存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资。
通过将安防业务中与存储或媒体密切相关的功能进行了合理抽象,系统能将数据的冗余策略精确到更细粒度的时间片段数据,或是某一张图片文件,并通过告警或事件联动的业务入口,提供给客户更灵活的可定制流程。