杭州西湖区云计算数据中心项目设计方案
- 格式:doc
- 大小:1.28 MB
- 文档页数:62
智慧城市云计算大数据中心项目深化设计方案随着信息技术的飞速发展和城市化进程的不断加快,智慧城市建设已成为城市发展的重要战略。
其中,云计算和大数据已成为智慧城市建设的核心支撑技术与资源。
为了更好地应对城市发展和信息化需求,我们制定了智慧城市云计算大数据中心项目深化设计方案,旨在搭建一个高效、可靠、安全的大数据中心,为智慧城市的建设提供强大的支撑。
一、需求分析与规划在项目深化设计之前,我们首先进行了较为详细的需求分析与规划。
通过与城市规划部门和相关业务部门的沟通,我们了解到市民需求的多样性,以及大数据在城市管理、交通、环境保护等方面的应用潜力。
因此,在设计方案中,我们需要充分考虑城市的现状和未来发展需求,确保数据中心具备可扩展性、灵活性以及高可用性。
二、架构设计与技术选型针对智慧城市云计算大数据中心的特点和要求,我们制定了相应的架构设计方案。
我们选择了分布式计算、虚拟化技术和容器化技术来构建数据中心的基础设施。
同时,我们选用了高密度服务器、网络交换设备和存储设备,以实现数据的快速传输和存储。
此外,我们还采用了多层次的网络架构,以提高系统的可靠性和安全性。
三、能耗管理与绿色环保在智慧城市云计算大数据中心项目的深化设计中,能耗管理和绿色环保也是非常重要的考虑因素。
为了降低能耗,并最大程度地减少对环境的影响,我们将在设计方案中采用节能技术和绿色能源技术。
例如,我们将通过使用智能化的空调设备和冷却技术来降低数据中心的能耗,并采用可再生能源来供电,以减少对传统能源的依赖。
四、安全与风险管理由于智慧城市云计算大数据中心将承载大量敏感信息和重要数据,因此,在深化设计方案中我们也非常重视安全与风险管理。
该方案将采用多重认证和访问控制技术,以确保数据中心的安全性。
同时,我们还将部署实时监控系统和应急响应机制,以及完备的备份和恢复策略,以应对潜在的风险和突发事件。
五、监测与维护在智慧城市云计算大数据中心项目的深化设计方案中,我们还将考虑到监测与维护的要求。
杭州市西湖区云计算数据中心可行性研究报告杭州西湖区云计算数据中心可研报告二〇一一年十月目录第1章、总论 ..................................................................... ........................................... 1 1.1 概述 ..................................................................... ............................................... 1 1.2 建设背景 ..................................................................... ........................................ 1 1.3 建设必要性和可行性 ..................................................................... ....................... 2 1.4 建设目标与任务 ..................................................................... .............................. 2 第2章、需求分析 ..................................................................... .................................... 4 2.1 用户需求 ..................................................................... ........................................ 4 2.2 数据需求 ..................................................................... ........................................ 4 2.3 系统及应用需求分析 ............................................................................................ 7 2.3.1 节点管理 ..................................................................... .................................... 8 2.3.2 主题管理 ..................................................................... .................................... 8 2.3.3 元数据管理 ..................................................................... ................................. 8 2.3.4 公共代码管理...................................................................... ............................. 9 2.3.5 数据采集 ..................................................................... .................................... 9 2.3.6 数据整理比对...................................................................... ............................. 9 2.3.7 数据交换 ..................................................................... .................................... 9 2.3.8 数据访问 ..................................................................... .................................. 10 2.3.9 数据备份与恢复 ..................................................................... ........................ 10 2.3.10 标准管理 ..................................................................... ........................... 10 2.3.11 应用支持 ..................................................................... ........................... 10 2.3.12 运行管理 ................................................................................................ 10 2.4 性能需求分析 ..................................................................... ............................... 11 2.4.1 业务处理量分析 ..................................................................... ........................ 11 2.5 安全及保障机制需求分析 ..................................................................... .............. 12 2.5.1 系统安全可靠性需求 ..................................................................... ................. 12 2.5.2 数据安全保密性需求 ..................................................................... ................. 12 2.5.3 数据完整性需求 ..................................................................... (13)2.5.4 .................................................................. .................... 13 实体的可鉴别性需求2.5.5 不可否认性需求 ..................................................................... ........................ 13 2.5.6 对象和行为的可授权性需求 ..................................................................... . (13)i2.5.7 统一信任与授权策略需求 ..................................................................... .......... 13 2.5.8 数据中心统一安全监管性需求 ..................................................................... ... 14 2.5.9 保障机制需求分析 ..................................................................... (14)第3章、数据中心设计方案...................................................................... .................... 15 3.1 设计原则 ..................................................................... ...................................... 15 3.1.1 统一建设 ..................................................................... .................................. 15 3.1.2 相对独立 ..................................................................... .................................. 15 3.1.3 共建共享 ..................................................................... .................................. 15 3.1.4 安全可靠 ..................................................................... .................................. 15 3.2 数据中心平台设计 ..................................................................... ........................ 16 3.2.1 平台总体架构...................................................................... ........................... 16 3.2.2 数据资源规划...................................................................... (16)3.2.2.1 数据资源规划的总体思路 (16)3.2.2.2 数据资源体系结构 (17)3.2.2.3 共享数据一致性的保证 (18)3.2.2.4 共享数据库的建立过程 ...................................................... 19 3.2.3 数据支撑平台...................................................................... (20)3.2.3.1 数据共享交换子系统 (20)3.2.3.2 目录管理服务子系统 (23)3.2.3.3 共享数据管理子系统 (23)3.2.3.4 共享业务管理子系统 (24)3.2.3.5 系统配置管理子系统 (24)3.2.3.6 系统安全管理子系统 (24)3.2.4 数据共享交换平台 ..................................................................... (25)3.2.4.1 交换网络结构......................................................................253.2.4.2 交换概念模型......................................................................273.2.4.3 交换体系结构......................................................................28 3.2.5 共享数据管理系统 ..................................................................... (30)3.2.5.1 功能设计 ..................................................................... .. (30)3.2.5.2 逻辑结构 ..................................................................... .. (32)ii3.2.6 数据接口系统...................................................................... ........................... 32 3.2.7 服务器系统设计 ..................................................................... (33)3.2.7.1 设计原则 ..................................................................... .. (33)3.2.7.2 服务器系统选择的依据 (34)3.2.7.3 需求分析 ..................................................................... .. (35)3.2.7.4 性能测算及选型建议 .......................................................... 35 3.2.8 存储系统设计...................................................................... (36)3.2.8.1 设计原则 ..................................................................... .. (36)3.2.8.2 主流存储技术比较及建议 .................................................. 37 3.2.9 存储容量设计.................................................................. 错误,未定义书签。
云计算数据中心整体建设方案V2随着科技发展和信息化越来越重要,更多企业正在转向云计算及其数据中心,这也需要确保安全和完整性的整体建设方案。
下面,将会介绍一个云计算数据中心整体建设方案V2。
一、架构以及总体规划首先,必须评估云计算所需的基础设施,包括硬件、软件和网络,并构建根据这些需求制定的可满足设计的总体规划。
此外,也需要考虑有关位置、数据安全性等方面的考虑。
二、网络架构其次,云计算中的网络架构是极为重要的,应该设计出符合企业需求的交换机和路由器等网络设备,建立网络安全策略,以及流量防火墙和合适的vpn应用,确保网络安全和完整性,并且可保证性能和可扩展性。
三、存储架构存储架构对于云计算来说非常重要,因为这是存储和管理数据的方式。
企业应该选择能够满足他们需求的数据存储方式,并保持数据的完整性和保密性。
四、服务器架构服务器是整个云计算环境中最为关键的基础设施之一。
云计算数据中心中的服务器架构通常是根据应用程序和数据库的需求,构建具有大容量存储、高速 CPU 和内存性能的服务器。
需要协调与网络和存储之间的协调,确保流畅的集群交互和高效的内部连接。
五、虚拟化架构虚拟化环境可以最大程度地提高服务器利用率并实现快速动态的服务器创建和灵活的资源部署。
通过虚拟化,企业能够在一个服务器上运行多个虚拟计算机。
为实现这一目标,需要实现虚拟网络和虚拟存储,以便可以将实体服务器的物理资源分配给虚拟机。
虚拟机管理软件确保每个虚拟机的资源都可以得到优化,从而实现最佳性能。
六、安全奉劝广大云计算数据中心的操作人员必须认识到自己面临的数据中心安全威胁的严重性。
因此,针对这些威胁,需要提供多层保护,包括网络和数据安全、访问和身份管理等。
在完成上述步骤之后,企业将能够建立一个高度可靠、灵活、安全和完整的云计算数据中心。
这个方案提供了一整套完整的解决方案,保证企业能够实现其主要目标,包括灵活性、可扩展性和高效性。
新建数据中心工程建设方案一、引言随着互联网的飞速发展和云计算技术的不断成熟,数据中心已经成为现代社会的重要基础设施之一。
数据中心作为一个集中存储、管理和处理大量数据的设施,其建设规模和技术要求日益提高。
本文将就新建数据中心工程建设方案进行详细的介绍和分析。
二、项目背景在信息时代,数据已经成为企业和政府的重要资产,越来越多的数据需要得到安全、可靠、高效的存储和管理。
因此,针对这一需求,本文规划了新建数据中心工程建设方案。
三、项目概况1. 项目名称:新建数据中心2. 项目地点:选址在城市郊区,占地约100亩3. 项目规模:总建筑面积约20万平方米4. 项目投资:预计投资20亿元5. 项目建设周期:预计4年完成四、项目建设内容1. 建设主体结构:主要包括数据机房、设备间、办公区、会议室等功能区域。
2. 建设设施配套:包括发电系统、UPS系统、照明系统、给排水系统、安防系统等。
3. 建设技术设备:包括服务器、存储设备、网络设备、空调设备、监控设备等。
五、项目建设原则1. 绿色环保:建设过程中要注重节能减排,采用环保材料和技术。
2. 安全可靠:建设过程中要注重安全施工,设备设施要符合相关安全规范。
3. 高效节约:建设过程中要注重资源的高效利用,提高数据中心的综合利用效率。
六、项目建设技术要求1. 建筑结构:要求建筑结构稳固,能够承受大规模数据设备的重量,并且满足抗震和防火等相关要求。
2. 机电系统:要求机电系统稳定可靠,能够保障数据中心设备的工作正常运行。
3. 网络系统:要求网络系统快速稳定,能够满足大规模数据的传输和处理需求。
4. 空调系统:要求空调系统稳定高效,能够保持数据中心的恒温恒湿。
5. 安防系统:要求安防系统严密可靠,能够保障数据中心的安全。
七、项目建设方案1. 土地规划:根据项目需要,选址在城市郊区,占地约100亩,规划总建筑面积约20万平方米。
2. 建筑设计:根据数据中心的功能要求,设计主体结构和功能区域,满足数据中心的需求。
云计算数据中心项目技术方案技术方案:1.数据中心架构:在设计数据中心架构时,应考虑到高可用性、灵活性和可扩展性。
可以采用三层架构,包括边界层、核心层和接入层。
边界层负责与外部网络的连接,核心层负责数据传输和路由,接入层负责连接服务器和存储设备。
2. 虚拟化技术:为了更好地利用计算资源,可以采用虚拟化技术。
通过将物理服务器虚拟化为多个虚拟机,可以实现资源的共享和弹性伸缩。
可以使用VMware、Hyper-V等虚拟化平台来实现。
3. 存储技术:存储是云计算数据中心的核心之一、可以采用网络存储技术,如SAN(存储区域网络)或NAS(网络附加存储)来实现集中管理和存储数据。
同时,也可以使用分布式存储系统,如Hadoop HDFS或Ceph,来实现大规模的数据存储和处理。
4.网络技术:数据中心需要具备高速且稳定的网络连接。
可以采用高密度交换机构建高性能的网络基础设施。
同时,为了提高网络的可靠性和可用性,可以使用VRRP(虚拟路由冗余协议)和ECMP(等价路由多路径)等技术进行冗余和负载均衡。
5.安全技术:数据中心的安全是至关重要的。
可以采用多层次的安全防护体系,包括物理安全、网络安全和数据安全。
可以使用防火墙、入侵检测系统(IDS)和虚拟私有网络(VPN)等来保护网络安全。
同时,也可以使用数据加密、访问控制和备份等措施来保护数据的安全性。
6. 自动化管理:为了提高数据中心的运维效率和灵活性,可以采用自动化管理技术。
可以使用配置管理工具(如Puppet或Ansible)来实现服务器和应用程序的自动化配置和部署。
同时,也可以利用自动化监控系统和故障管理系统来实现系统的自动化监控和故障处理。
7.环境监控:为了确保数据中心的正常运行,应进行实时的环境监控。
可以安装温湿度监控设备和烟雾报警装置来监测数据中心的环境。
同时,也可以使用UPS(不间断电源)和发电机等设备来保证数据中心的稳定供电。
8.网络互联:为了满足不同用户和应用程序的需求,可以与其他数据中心进行互联。
云计算中心(数据中心)施工方案云计算中心(数据中心)施工方案简介本文档旨在提供一个云计算中心(数据中心)的施工方案,确保工程顺利进行并满足相关要求。
项目概述云计算中心(数据中心)是一个关键的基础设施项目,用于存储和处理大量的数据以支持各种云计算服务。
本项目旨在建立一个现代化的数据中心,满足客户和用户对高可用性、可靠性和安全性的需求。
施工策略1. 确定合适的地点:选择一个便于施工和运营管理的地点,同时考虑供电、网络连接等基础设施的条件。
2. 设计与规划:组织团队进行详细的设计和规划,包括机房布局、电力供应、网络架构、防火墙等。
3. 施工准备:确定所需的建筑材料和设备,并与供应商合作,确保及时供货。
4. 建设和安装:按照设计和规划要求,进行机房的建设和设备的安装,确保施工质量和进度。
5. 测试和调试:完成机房施工后,进行设备的测试和调试,确保其功能和性能符合要求。
6. 系统集成和运营:将各项设备和系统进行集成,并进行相关的运营管理,以确保云计算中心的正常运行。
施工要求1. 施工安全:施工过程中必须遵守相关的安全规定和标准,确保工人和设备的安全。
2. 节约能源:在设计和施工过程中,考虑节约能源的措施,以减少对环境的影响。
3. 环境保护:施工过程中必须遵循环境保护的要求,减少噪音、尘埃等对周边环境的影响。
4. 设备可靠性:选择可靠的供应商和设备,确保设备的质量和性能达到要求。
5. 安全性防护:在设计和建设过程中,提供必要的安全性防护措施,确保数据中心的安全。
6. 合规要求:满足相关法律法规和行业标准的要求,确保数据中心的合规性。
预期效果通过该施工方案的实施,预期能够建立一个符合客户需求和行业标准的云计算中心(数据中心)。
该中心能够提供高可用性、可靠性和安全性的云计算服务,满足用户对数据存储和处理的需求。
以上是云计算中心(数据中心)的施工方案,请参考和实施相应的措施来确保项目的成功进行和顺利完成。
云数据中心项目方案建议书一、项目背景随着信息技术的飞速发展,企业对于数据处理和存储的需求呈指数级增长。
传统的数据中心已经难以满足企业日益增长的业务需求,云数据中心作为一种创新的解决方案,凭借其强大的计算能力、弹性扩展、高可用性和成本效益等优势,逐渐成为企业数字化转型的核心基础设施。
为了满足企业的业务发展需求,提高数据处理和存储的效率,降低运营成本,提升竞争力,我们提出了云数据中心项目方案。
二、项目目标1、构建一个高效、稳定、安全的云数据中心,满足企业当前和未来业务发展的需求。
2、实现资源的弹性扩展,根据业务负载动态调整计算、存储和网络资源。
3、提高数据的安全性和可靠性,确保数据的备份和恢复能力。
4、降低运营成本,通过资源优化和自动化管理提高效率。
三、项目需求分析1、计算资源需求根据企业业务系统的类型和规模,预估所需的 CPU 核心数、内存容量和 GPU 加速卡等计算资源。
考虑业务的增长趋势,预留一定的计算资源扩展空间。
2、存储资源需求分析企业数据的类型(结构化、非结构化)和规模,确定所需的存储容量。
考虑数据的访问频率和性能要求,选择合适的存储介质(如 SSD、HDD)和存储架构(如分布式存储、集中式存储)。
3、网络资源需求评估企业内部和外部的网络流量,确定网络带宽需求。
考虑网络的可靠性和低延迟要求,设计合适的网络拓扑结构和网络设备配置。
4、安全需求制定数据安全策略,包括访问控制、数据加密、身份认证等。
部署安全设备和软件,如防火墙、入侵检测系统、防病毒软件等。
5、管理需求建立统一的管理平台,实现对云数据中心资源的集中监控、管理和配置。
提供自动化的运维工具,提高运维效率,降低人为错误。
四、项目技术方案1、云计算平台选择对市场上主流的云计算平台(如亚马逊 AWS、微软 Azure、阿里云、腾讯云等)进行评估和比较。
根据企业的业务需求、技术实力和预算,选择合适的云计算平台。
2、计算资源架构采用虚拟化技术(如 VMware、KVM)构建服务器虚拟化环境,提高服务器资源利用率。
云计算数据中心规划建设云计算数据中心规划建设1.引言1.1 背景云计算技术的快速发展已经催生了大量的数据中心建设需求。
为了满足日益增长的计算和存储需求,云计算数据中心规划建设成为企业和组织的重要任务。
1.2 目的本文档旨在提供一套完整的云计算数据中心规划建设范本,以供参考使用。
文档涵盖了数据中心规划的各个方面,包括硬件设施、网络架构、安全防护、容灾备份等关键内容。
2.数据中心规划建设步骤2.1 确定需求在开始数据中心规划建设之前,需要对业务需求进行全面的分析和评估。
这包括计算和存储需求、网络带宽需求、安全性和可靠性要求等。
2.2 设计硬件设施根据需求确定硬件设施的规模和配置。
包括服务器、存储设备、网络设备等。
考虑到未来的扩展需求,应选择具备良好的可扩展性和灵活性的设备。
2.3 设计网络架构设计合理的网络架构对于数据中心的性能和可靠性非常重要。
应考虑到网络拓扑、带宽需求、安全性等因素。
可以采用虚拟化技术,实现网络资源的灵活调配和管理。
2.4 安全防护规划数据安全是数据中心建设的核心问题。
设计合理的安全防护措施,包括物理访问控制、网络安全机制、数据加密等。
应根据实际情况选择适合的安全技术和方案。
2.5 容灾备份策略为了保证数据中心的高可用性和业务连续性,需要制定合理的容灾备份策略。
包括数据备份、灾备设施的选择和配置等。
应根据业务需求和预算情况,确定合适的容灾备份方案。
2.6 管理和维护完成数据中心规划建设后,需要进行有效的管理和维护工作。
这包括设备监控、故障处理、资源优化等。
应建立完善的管理流程和指南,确保数据中心的稳定和可靠运行。
3.附件本文档涉及的附件包括:●设备配置表●网络拓扑图●容灾备份计划4.法律名词及注释4.1 SLA(Service Level Agreement):服务级别协议,用于约定服务提供商和用户之间的服务质量标准。
4.2 GDPR(General Data Protection Regulation):通用数据保护条例,是欧洲联盟制定的一项数据保护法规,涉及个人数据的处理和跨境传输。
西湖区云计算数据中心项目总论1.1概述今年是"十二五"计划的第一年,在"十二五"期间我们预期、乃至其他周边区域进一步发展高新产业园、大力扶持高新企业,在这样的大背景下必将有很多政府、企业眼光转向云计算服务平台寻求从外部快速、低成本地获取IT资源和管理能力而不只是采用自己搭建IT平台这一缓慢的办法。
受政策和数据安全方面的约束,政府和企业不能或不会考虑国外的公有云平台和混合云平台。
而目前在国,进入云计算的企业由于其自身能力的限制大多仍然停留在云计算的底层设施(硬件、存储、网络)及其基本软件的层级,很少能够有能力建立自有知识产权的可以容易被用户使用的面向服务的云计算平台。
1.2建设背景2010年10月,国家发改委、工业和信息化部下发《关于做好云计算服务创新发展试点示工作的通知》,选择在、、、、等五个城市开展云计算创新发展试点示工作,《通知》要求云计算创新发展试点示工作要与区域产业发展优势相结合,推动国信息服务企业针对政府、大中小企业和个人等不同用户需求,积极探索各类云计算服务;以企业为主体,产学研用联合,加强云计算核心技术研发和产业化;推进云计算中心(平台)建设,为提升信息服务水平、培育战略性新兴产业、调整经济结构、转变发展方式提供有力支撑。
“十二五”期间,我市电子商务建设的主要目标是:建成标准统一、功能完善、安全可靠的政务信息平台,发挥支持作用;重点业务系统建设取得显著成效;基础性、战略性政务信息库建设取得重大进展,数据资源共享程度明显提高;初步形成电子商务网络与信息安全保障体系,建立规的培训制度,与电子商务相关的法规和标准逐步完善。
1.3建设必要性和可行性IDC预计,从2009年底到2013年底,四年期间,云计算将为全球带来8000亿美元的新业务收入,其中为中国带来超过11050亿人民币约合1590亿美元的新净业务收入。
2011年1月18日,在宁召开的“打造中国云―云计算促进产业转型升级”研讨会中国工程院院士、云计算专家德毅报告中指出“云计算是物联网发展的基石。
在中国,云计算已经走过概念炒作阶段,进入实际应用部署的阶段。
”未来3年,云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点,在中国市场逐步被越来越多的企业和机构采用,市场规模也将从2009年的92亿元增长到2012年的606亿元。
1.4建设目标与任务数据中心的建设是为了解决政府部门间信息共享,实现业务部门之间的数据交换与数据共享,促进市电子商务的发展。
具体目标如下:建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设,实现数据的交换、保存、更新、共享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能。
(一)建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设,实现社会保障数据的交换、保存、更新、共享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能。
(二)建立全市自然人、法人、公共信息库等共享数据库,为宏观决策提供数据支持。
对基础数据进行集中管理,保证基础数据的一致性、准确性和完整性,为各业务部门提供基础数据支持;(三)建立数据交换共享和更新维护机制。
实现各业务部门之间的数据交换与共享,以及基础数据的标准化、一致化,保证相关数据的及时更新和安全管理,方便业务部门开展工作;(四)建立数据共享和交换技术标准和相关管理规,实现各部门业务应用系统的规建设和业务协同;(五)为公共服务中心提供数据服务支持,实现面向社会公众的一站式服务;(六)根据统计数据标准汇集各业务部门的原始个案或统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,为领导决策提供数据支持;(七)为监督部门提供必要的数据通道,方便实现对业务部门以及业务对象的监管,逐步实现有效的业务监管支持;(八)为业务数据库的备份提供存储和备份手段支持,提高业务应用系统的可靠性。
需求分析1.5用户需求从与数据中心交互的组织机构、人员方面进行说明。
1.6数据需求市数据中心必须满足电子商务平台进行数据交换的需要,同时还必须满足在平台上建立的各业务系统进行综合业务处理的要求。
为门户系统提供各种静态和动态的数据、信息。
所谓静态信息是指对电子商务的运行中不经常变化,供各个业务系统查询、处理的数据或信息:政策、法规、元数据、资料库、各种多媒体数据等,它们会随着时间而逐步增大。
所谓动态数据是指随着运行而增加、修改的数据:并联审批中文件流转状态数据,反映企业、个人所处状态的数据,国民经济运行状态的数据等。
动态数据同各个局委办的信息密切相关,但又是面向主题的,如XX市社会保险这个主题,实际上同保险、工资、税务和银行密切相关;个人信用使用主题,它的数据与银行、税务、个人消费、个人收入密切相关。
而数据仓库显然也有面向主题的定义,但这些主题是较长时间的,具有战略定义的主题。
因此,数据中心的建设,首先要解决数据库异构信息类型的分类存储和检索体系以及针对不同类型数据模型的设计这一基本问题。
另一方面,数据中心管理着大量的结构化和非结构化信息。
所谓非结构化信息,是相对于那些有清晰的结构和类型定义以及有数据相关性的明确描述的信息类型而言的。
比如,在财税分析系统中,财政收支情况的月度数据,可以理解为一种有清晰结构的信息;而一份综合性包含了文字、报表、分析图形的财政收支分析报告则是一种非结构化的信息。
上发布的信息,如新闻动态、政务公开等等,一般也是非结构化的信息。
此外,非结构化信息中还包括了一类对象数据信息。
所谓对象数据信息,是指一个包含了敛结构的专门数据块,这个数据块单独无法建立与别的数据项的关联关系,并且需要工作在特定的工作模块下。
比如:GIS空间定义信息数据、多媒体的声像数据等,均为对象类型的数据。
在政府决策应用中,非结构化信息将占到相当的比例。
所有的政府文件均属于非结构化信息,政策法规属于非结构化信息,一些决策分析的综合性资料也是非结构化信息。
与结构化信息相比,非结构化信息的管理利用存在一些难点,就是:(1)定义管理的难度“非结构”化表明了没有一种象关系数据库规那样的定义模型来对非结构化信息进行定义管理。
虽然你可以强制对一个非结构化的信息块进行解构,将其分成类似头、中、尾这样的半结构。
但是这种解构只有在制定了具有普遍含义的结构描述定义后才有真正的意义。
对非结构化信息进行定义管理的另一个难点在于数据元类型无法穷举。
不象关系型数据系统中,对数据元类型有完整清晰的定义。
在非结构化信息中,包含了错综复杂的数据元类型。
比如,仅文档类型就包括Text、Word、PDF、Excel、Word Pro等等,还有各种图片文件格式、多媒体压缩信息格式等等。
此外,在象网页这样的非结构化信息中,所有的信息都是文字类型,设定时间、数字等类型的信息元并不具有运算上的意义。
(2)存储管理的难度对信息进行存储管理的前提是能够建立有效的数据定义,然后才能进行非结构化信息的组织存放。
而前面已经提到了在非结构化信息的数据定义方面存在的难度,因此也就造成了在非结构化信息存储管理方面的困难。
当然,对非结构化信息最简单的存储方式是直接存放在文件系统中。
这样做避免了依据主题等分类因素对非结构化信息进行管理的问题,但也是最最低效的一种存储管理方式。
在非结构化信息的存储管理中还涉及到一个问题,由于这些信息元(如果对非结构化信息进行一定的半结构化处理后)的数据可能来自关系型数据系统(比如Oracle)、对象数据系统(多媒体数据或空间数据)乃至文档数据系统(比如Notes),所以一个非结构化信息的存储管理系统将充当一个数据的汇整者,需要具备联合各个外部数据系统的功能。
缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索。
(3)信息检索的难度由于不能像关系数据库那样建立起清晰定义的数据主题,非结构化信息的检索依照的只能是机械的全文容检索。
这是对信息检索非常不利的一点。
虽然对信息容的全文检索可以做到资料检索的遍历,但其检索的效率和命中率是很低的。
由于不象关系数据库那样有一种象SQL(结构化查询语言)那样强大的关联检索工具,并且在定义数据时也没有建立数据项之间的关联关系,要具有针对性地查询非结构化信息的容,必须要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能容,才可能提高信息检索的强度和效率。
但另一方面讲,一种专用于理解特定非结构化信息类型的处理模块,无论在运行效率还是在可维护性上,都是非常不现实的。
非结构化信息检索的另一个难度也是与数据元类型的多样性有关的。
比如,不同的文档类型结构需要不同的全文索引工作模块。
这也无形中加大了对非结构化信息进行检索的难度。
因此,数据中心的建设,还必须从技术体系上解决如何对非结构化信息进行有效定义、有效管理和有效利用的基本问题。
1.7系统及应用需求分析数据中心的主要业务包括:➢从基层或业务部门采集数据,包括基础数据和部分共享业务数据,支持基础和共享数据的更新维护模式;➢对采集到的数据进行校验和比对,发现冲突时按照共同制订的数据处理规进行处理,保证数据的一致性和准确性;➢受理业务部门或基层单位的基础数据使用申请;➢将整理后的基础数据分发或按需提供给有关部门或单位使用;➢以中介的方式处理共享业务数据使用申请,并进行备案;➢对共享业务数据在征得业务部门同意的情况,通过数据中心进行存储转发;➢将共享元数据的信息发布给各业务部门,提供浏览与订阅申请,方便其共享必要信息;➢提供数据交换平台和接口系统,使数据中心与各部门的数据管理员可以对共享和交换过程进行管理;➢通过数据交换平台存储和管理公共服务数据,并与外网同步,提供一站式服务;➢存储和管理统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,对数据进行统计和分析,方便领导及时掌握有关情况。
➢定期对业务数据库进行容灾备份;➢与此相对应,业务部门与数据中心发生的相关业务包括:➢提供数据或共享元数据给数据中心;➢申请使用数据中心的基础数据,校准本单位的基础数据;➢通过数据中心提供的共享元数据信息获取其他单位的数据;➢审批其他单位的业务数据使用申请,并将数据提供出去;➢与数据中心交换公共服务数据;➢提供监督部门直接访问业务数据库的通道;➢提供统计分析数据或原始个案给数据中心,方便主管领导查询;➢定期将业务数据库备份到数据中心;根据数据中心与各业务部门的主要业务,数据中心应提供如下功能:1.7.1节点管理实现与数据中心相连的各个节点的信息管理、配置管理,包括业务部门、区县数据中心等。
1.7.2主题管理数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行,因此必须实现对主题的管理。
主题是元数据的集合。