基于企业架构的非结构化数据管理平台建设研究
- 格式:doc
- 大小:35.00 KB
- 文档页数:9
关于非结构化数据的管理的实践报告下载提示:该文档是本店铺精心编制而成的,希望大家下载后,能够帮助大家解决实际问题。
文档下载后可定制修改,请根据实际需要进行调整和使用,谢谢!本店铺为大家提供各种类型的实用资料,如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等,想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!关于非结构化数据管理的实践报告摘要本报告旨在探讨非结构化数据管理的实践方法及其在现代企业中的应用。
非结构化数据管理解决方案白皮书(2020版)非结构化数据管理解决方案联合实验室二零二零年九月版权声明本白皮书版权由中国电子技术标准化研究院与上海鸿翼软件技术股份有限公司共同所有,并受法律保护。
转载、摘编或利用其它方式使用本白皮书文字或观点的,请注明:“来源:中国电子技术标准化研究院、上海鸿翼软件技术股份有限公司”。
违反以上声明者,将追究其相关法律责任。
1编写人员:张群、尹卓、曹幼林、龙凌云、罗永秀、梅莉、姚宝敬、王兵、张中目录1.前言 (1)2.非结构化数据管理 (2)2.1.非结构化数据定义及特征 (2)2.2.非结构化数据管理发展历程 (4)3.非结构化数据管理体系 (6)3.1.非结构化数据管理能力成熟度模型 (7)3.2.非结构化数据顶层设计 (9)3.3.非结构化数据治理 (11)3.4.非结构化数据管理 (12)3.4.1.非结构化数据标准 (12)3.4.2.非结构化元数据 (15)3.4.3.非结构化数据质量 (16)3.4.4.非结构化数据安全 (17)3.4.5.非结构化数据合规 (21)3.4.6.非结构化数据集成 (21)3.5.非结构化数据价值 (23)3.5.1.非结构化数据协作 (23)3.5.2.非结构化数据流转 (24)3.5.3.非结构化数据服务 (25)3.5.4.非结构化数据洞察 (26)4.非结构化数据管理解决方案 (28)4.1.非结构化数据管理与ECM企业内容管理 (28)4.2.ECM内容管理成熟度模型CM³ (31)4.3.ECM内容管理平台架构 (33)4.4.ECM内容管理核心技术 (35)4.4.1.ECM底层架构技术 (35)4.4.2.ECM服务技术 (35)4.4.3.ECM安全技术 (36)4.4.4.ECM与人工智能技术深度融合 (36)4.4.5.ECM数字化转型技术 (37)4.4.6.ECM生态融合技术 (37)5.非结构化数据管理应用实践 (38)5.1.非结构化数据管理应用类型 (38)5.2.非结构化数据管理应用实践 (39)5.2.1.内容协作和交互 (39)5.2.2.内容全生命周期管理 (40)5.2.3.统一的内容数据管理平台 (40)5.2.4.内容的知识化平台 (41)5.2.5.内容归档和合规管理 (42)5.2.6.电子文档安全管理 (43)5.2.7.文档云应用解决方案 (44)5.2.8.非结构化数据中台应用解决方案 (44)5.2.9.文档档案一体化应用解决方案 (46)5.2.10.KM知识管理应用解决方案 (47)5.2.11.文件安全交换应用解决方案 (48)5.2.12.涉密/商秘电子文档安全管理应用解决方案 (48)5.2.13.GMP医药质量应用解决方案 (49)5.2.14.ISO质量体系文件管理应用解决方案 (50)5.2.15.工程协同设计应用解决方案 (51)5.2.16.EPC工程内容管理应用解决方案 (53)1.前言企业的持续经营必将产生大量数据,无论在企业的战略层面还是执行层面,数据管理对于企业决策都具有举足轻重的作用。
数据能力Data Capability——中信证券非结构化数据处理平台知识产权布局及典型 专利介绍探索“冰山之下”的数据中信证券股份有限公司 王哲 舒光斌 陈子怡 岳丰 方兴知识产权保护是金融科技创新的重要保障,不但可以确保企业创新成果的合法性和安全性,还可以激励内部技术创新、提升品牌形象和客户信任感,从而提高企业的影响力和竞争力。
中信证券股份有限公司(以下简称“中信证券”)高度重视知识产权布局与建设,建立了完善的知识产权管理制度和管理机制,鼓励员工开展发明创造并积极申请知识产权,同时重视知识产权成果的推广应用,维护公司合法权益。
一、非结构化数据处理平台概述有统计表明,企业内部数据的80%以上都是非结构化数据,例如,图片、扫描件、电子文档/表格、舆情新闻、对话/服务日志、元数据与源代码等,而且这一比例还在不断上升,因此,可以将非结构化数据形象地看作企业数据“冰山之下”的部分(如图1所示)。
为了满足公司各业务部门的众多非结构化数据处理需求,中信证券近年来自主研发了公司级非结构化数据处理平台,综合应用多种大数据、人工智能等技术手段,针对证券公司非结构化数据加工处理全生命周期的各个阶段,解决构化数据结构化数据图1 非结构化数据示意DATA一系列关键技术难题,从而使各项证券业务显著节约成本、提高工作效率。
非结构化数据处理平台蕴含着丰富的知识产权资源,例如,研发过程中广泛应用OCR、NLP、RPA、搜索引擎、知识图谱等前沿技术,并结合证券公司业务中非结构化数据特性,创新提出几十种算法模型和解决方案;自研上线数据管理系统、知识管理系统、文档智能系统等多个应用系统,既能够支持具体业务需求,又可以沉淀通用技术。
在该平台建设过程中,中信证券研发团队高度重视知识产权布局和保护,对新算法、新方案、新系统功能等及时记录、整理、归纳,目前已取得20余项知识产权,涉及专利、软著、论文等多种成果类型。
二、非结构化数据处理平台知识产权布局围绕非结构化数据加工处理全生命周期,中信证券非结构化数据处理平台架构包括数字化、结构化、知识化、业务应用等四个层次(如图2所示),且在各层都布局了知识产权保护内容,具体包括数字化层知识产权、结构化层知识产权、知识化层知识产权、业务应用层知识产权等。
企业服务行业数字化管理与服务平台构建方案设计第一章概述 (2)1.1 项目背景 (3)1.2 项目目标 (3)1.3 项目意义 (3)第二章需求分析 (3)2.1 行业现状分析 (3)2.2 用户需求调研 (4)2.3 功能需求分析 (4)2.4 技术需求分析 (5)第三章系统架构设计 (5)3.1 系统总体架构 (5)3.2 技术架构设计 (5)3.3 数据架构设计 (6)3.4 安全架构设计 (6)第四章核心功能模块设计 (7)4.1 用户管理模块 (7)4.1.1 用户注册与登录 (7)4.1.2 用户信息管理 (7)4.1.3 用户行为跟踪 (7)4.2 数据管理模块 (7)4.2.1 数据采集与存储 (7)4.2.2 数据维护与更新 (7)4.2.3 数据查询与导出 (8)4.3 业务流程管理模块 (8)4.3.1 流程设计与优化 (8)4.3.2 流程监控与跟踪 (8)4.3.3 流程评价与改进 (8)4.4 报表与统计分析模块 (8)4.4.1 报表与展示 (8)4.4.2 数据分析与应用 (9)4.4.3 统计预警与推送 (9)第五章系统开发与实施 (9)5.1 技术选型与开发工具 (9)5.2 开发流程与方法 (9)5.3 系统测试与部署 (10)5.4 项目管理与方法 (10)第六章数据安全与隐私保护 (10)6.1 数据加密技术 (10)6.1.1 对称加密技术 (10)6.1.2 非对称加密技术 (11)6.1.3 混合加密技术 (11)6.2 用户权限管理 (11)6.2.1 用户身份认证 (11)6.2.2 权限控制策略 (11)6.3 安全审计与日志 (11)6.3.1 审计策略 (11)6.3.2 日志管理 (11)6.4 数据备份与恢复 (12)6.4.1 数据备份策略 (12)6.4.2 数据恢复流程 (12)6.4.3 备份存储与安全管理 (12)第七章用户界面与体验优化 (12)7.1 界面设计原则 (12)7.2 用户体验设计 (12)7.3 界面布局与交互设计 (13)7.4 系统定制与个性化 (13)第八章系统集成与互联互通 (14)8.1 系统集成策略 (14)8.2 接口设计与实现 (14)8.3 互联互通技术 (14)8.4 系统兼容性测试 (14)第九章运营维护与升级 (15)9.1 系统运维策略 (15)9.2 故障处理与维护 (15)9.3 系统升级与优化 (16)9.4 用户支持与服务 (16)第十章项目评估与总结 (16)10.1 项目成果评估 (16)10.1.1 项目目标达成情况 (16)10.1.2 项目成果评估方法 (17)10.2 用户满意度调查 (17)10.2.1 调查方法 (17)10.2.2 调查结果 (17)10.3 项目经验总结 (17)10.3.1 项目实施过程中的成功经验 (17)10.3.2 项目实施过程中遇到的问题及解决办法 (18)10.4 未来展望与建议 (18)10.4.1 未来展望 (18)10.4.2 建议 (18)第一章概述1.1 项目背景我国经济的快速发展,企业服务行业在国民经济中的地位日益显著。
机构信息化管理平台建设方案第一章引言 (2)1.1 项目背景 (2)1.2 项目目标 (3)1.3 项目意义 (3)第二章需求分析 (3)2.1 用户需求 (3)2.2 功能需求 (4)2.3 系统功能需求 (4)第三章系统设计 (5)3.1 系统架构设计 (5)3.1.1 总体架构 (5)3.1.2 技术架构 (5)3.2 模块划分 (5)3.3 数据库设计 (6)3.3.1 数据表结构设计 (6)3.3.2 字段定义 (6)3.3.3 索引设置 (7)第四章技术选型 (8)4.1 开发语言及框架 (8)4.2 数据库技术 (8)4.3 系统安全策略 (9)第五章系统开发 (9)5.1 开发流程 (9)5.1.1 需求分析 (9)5.1.2 系统设计 (10)5.1.3 编码实现 (10)5.1.4 测试与调试 (10)5.1.5 系统部署与上线 (10)5.2 开发工具 (10)5.2.1 开发语言 (10)5.2.2 数据库 (10)5.2.3 前端框架 (10)5.2.4 后端框架 (10)5.2.5 版本控制 (10)5.3 代码规范 (10)5.3.1 命名规范 (10)5.3.2 代码缩进 (10)5.3.3 注释规范 (11)5.3.4 代码结构 (11)5.3.5 代码复用 (11)5.3.6 代码审查 (11)第六章系统测试 (11)6.1 测试策略 (11)6.2 测试方法 (11)6.3 测试案例 (12)第七章系统部署与实施 (13)7.1 系统部署 (13)7.1.1 硬件部署 (13)7.1.2 软件部署 (13)7.1.3 系统集成与测试 (13)7.2 用户培训 (13)7.2.1 培训对象 (14)7.2.2 培训内容 (14)7.2.3 培训方式 (14)7.3 系统运维 (14)7.3.1 运维团队 (14)7.3.2 运维内容 (14)第八章数据管理 (14)8.1 数据采集 (14)8.2 数据存储 (15)8.3 数据分析 (15)第九章安全与风险管理 (16)9.1 安全策略 (16)9.1.1 安全目标 (16)9.1.2 安全策略框架 (16)9.1.3 安全策略实施 (17)9.2 风险评估 (17)9.2.1 风险评估目的 (17)9.2.2 风险评估流程 (17)9.2.3 风险评估方法 (17)9.3 应急预案 (17)9.3.1 应急预案目的 (17)9.3.2 应急预案内容 (18)9.3.3 应急预案实施 (18)第十章项目总结与展望 (18)10.1 项目成果 (18)10.2 项目不足 (18)10.3 今后发展方向 (19)第一章引言1.1 项目背景信息技术的快速发展,机构面临着转型升级的压力与挑战。
解读某机构数据治理架构体系的搭建BangEA企业架构系列昨天发了⼀篇银监会的《银⾏业⾦融机构数据治理指引》⽂章,有帮友问到指引中的⼀些具体含义。
为了更好的理解数据治理,今天借⽤deloitte对指引的解读来回答这些问题。
▌前⾔为引导银⾏业⾦融机构加强数据治理,充分发挥数据价值,全⾯向⾼质量发展转变,银监会发布了《银⾏业⾦融机构数据治理指引》近年来银⾏业⾦融机构在业务快速发展过程中,积累了客户数据、交易数据、外部数据等海量数据。
数据已经成为银⾏的重要资产和核⼼竞争⼒,充分发挥数据价值,⽤数据驱动银⾏发展,提⾼银⾏经营质效,具有重要意义。
在此过程中,打破传统运营模式,引⼊⾦融科技或创新⼿段势在必⾏。
我们建议,银⾏应以本次《指引》为契机,借⼒于有效的⼯具和⼿段,建设和优化数据治理体系,提⾼数据管理和质量控制⽔平,充分挖掘和利⽤数据价值,为数据分析、经营决策、发展规划提供数据⽀持,持续提升风险管理、内部控制能⼒及经营管理能⼒,形成全⾏上下数据⽂化,充分发挥数据价值。
▌正⽂银⾏“数据治理”的前世今⽣我们看到,本次下发《指引》的同时废⽌了《银⾏监管统计数据质量管理良好标准(试⾏)》(银监发〔2011〕63号)(以下简称《良好标准》)。
《良好标准》被视为《指引》的前⾝,《指引》在《良好标准》试⾏七年的基础上进⾏了提炼与升华。
⽴治理为本源,引价值为核⼼《指引》共包括七章55条,作为银⾏业⾦融机构数据治理⼯作的引领性⽂件引导银⾏业⾦融机构全⾯开展数据治理。
重点从以下五个⽅⾯提出监管要求:明确数据治理架构。
监管在答记者问中明确指出:“多数银⾏数据管理职能分散在不同部门,容易出现职责分散、权责不明的情况,需要进⾏统⼀管理。
同时,数据治理是系统⼯程,从下⾄上,应做到⼈⼈有责、层层把关。
”《指引》明确了银⾏业⾦融机构数据治理架构,董事会、监事会和⾼管层等的职责分⼯,提出可结合实际情况设⽴⾸席数据官。
要求确⽴数据治理牵头部门,明确牵头部门和业务部门职责。
《企业级数据架构:核心要素、架构模型、数据管理与平台搭建》阅读札记目录一、内容描述 (2)二、企业级数据架构概述 (3)三、核心要素 (5)3.1 数据架构概念及重要性 (6)3.2 企业数据特点与需求 (8)3.3 核心技术和工具 (9)四、架构模型 (10)4.1 总体架构设计原则 (12)4.2 数据架构模型分类 (13)4.3 典型架构模型介绍 (14)4.4 模型选择与实施策略 (15)五、数据管理 (17)5.1 数据治理与策略制定 (18)5.2 数据质量与管控 (19)5.3 数据安全防护措施 (21)5.4 数据生命周期管理 (23)六、平台搭建 (24)6.1 数据平台需求分析 (26)6.2 数据平台技术选型 (27)6.3 数据平台搭建流程 (29)6.4 平台性能优化与扩展策略 (31)七、实践应用案例分析 (33)7.1 案例背景介绍 (34)7.2 数据架构设计与实施过程 (35)7.3 成效评估与经验总结 (36)八、总结与展望 (38)8.1 关键知识点总结 (39)8.2 行业发展趋势预测 (40)8.3 未来研究方向和建议 (41)一、内容描述在深入探索企业级数据架构的奥秘时,我们首先需要理解其核心要素、架构模型以及数据管理与平台搭建的要点。
本书详细阐述了这些关键方面,为企业构建高效、稳定且安全的数据架构提供了全面的指导。
书中开篇即指出,企业级数据架构是支撑企业业务发展的重要基石,它涉及到数据的采集、存储、处理、分析及应用等多个环节。
为了确保数据架构的有效性,必须首先明确其核心要素,包括数据的标准化、完整性保障、安全性与隐私保护等。
这些要素共同构成了企业数据架构的骨架,为后续的架构设计和实施提供了坚实的基础。
在架构模型部分,本书提出了一个综合性的框架,将数据架构划分为多个层次和组件。
从数据源到数据仓库,再到数据集市和数据分析平台,每一个层次都承担着特定的功能和职责。
TRS技术(拓尔思)1. 概述随着信息技术特别是信息通讯技术的发展,互联⽹、社交⽹络、物联⽹、移动互联⽹、云计算等相继进⼊⼈们的⽇常⼯作和⽣活中,全球数据信息量呈指数式爆炸增长之势。
根据国际数据公司 IDC 发布的研究报告,2011 年全球创建和复制的数据总量为 1.8ZB(约 1.8 万亿 GB),预计全球数据量⼤约每两年翻⼀番,到 2020 年全球将达到 35ZB 的数据信息量。
随着前所未有巨量数据信息的聚集,“⼤数据”呈现出两⼤发展趋势:⼀,⼤数据从商业⾏为上升到国家发展战略。
美国 2012 年 3 ⽉启动“⼤数据研究和发展计划”,同时,联合国和很多国家都加⼤了对⼤数据的投⼊均印证⼤数据已经越来越被视为国家的⼀种战略资源。
⼆,从⼤数据技术到⼤数据科学的发展趋势。
美国“⼤数据研究和发展计划”以政府资⾦⽀持⼤数据科学研究,来推动⼤数据科学核⼼技术发展的模式显⽰了⼤数据科学不可阻挡的发展趋势。
同时,⼤数据科学核⼼技术在众多领域所展现的积极作⽤激励了⼴⼤科研⼈员研究⼤数据的热情。
⼤数据不仅仅是消费驱动的,也并⾮互联⽹公司的专属。
政府中⼤量⾮结构化数据的存量,以及企业内部⼤量数据的处理需求都是⼤数据发展的驱动⼒。
⼤数据的包容性将有利于推进我国政府信息公开的进度,打开政府各部门间、政府与市民间的边界,同时⼜能通过⼤数据应⽤提升政府管理服务⽔平。
通过⼤数据对⽤户⾏为进⾏分析,有助于企业在创新经营模式和技术时更加贴近消费者、深刻理解需求、⾼效分析信息并作出预判,从⽽改善企业⾃⾝经营⽔平、提升经营效率,这将是当今企业核⼼竞争⼒所在。
北京拓尔思信息技术股份有限公司(以下简称拓尔思)凭借在⾮结构化数据管理⽅⾯和海量信息处理⽅⾯的优势及多年积累的实践经验,以平台 + ⾏业解决⽅案 + 服务的综合产品线,把海量⾮结构化信息处理技术和 Hadoop 架构进⾏有效结合集成,并结合企业在⼤数据采集、管理、分析挖掘、可视化⽅⾯的具体需求,开发出了针对企业数据、机器数据、社会化数据相关的产品及服务。
基于企业架构的非结构化数据管理平台建设研究摘要:非结构化数据是大型企业宝贵的数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有大量提升企业业务价值的重要信息。
非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一。
基于企业架构理论设计了非结构化数据管理平台的业务架构、技术架构、数据架构以及应用架构,对面向大型企业应用的非结构化数据管理平台进行了多视角建模,建立了从需求分析到系统设计的桥梁。
关键词:企业架构;非结构化;数据管理平台;业务过程1企业架构概述企业架构的应用目标是将业务功能与需求映射到IT系统,是企业通过IT获得竞争优势不可缺少的手段。
20世纪80年代中期,IBM 的John Zachman率先提出了“信息系统架构框架”的概念,从信息、流程、网络、人员、时间、基本原理等6个透视角度来分析企业。
该理论提供了与这些视角相对应的6个模型,包括语义、概念、逻辑、物理、构件和功能等。
企业架构的核心目标是保持拟设计的信息系统与其业务的动态一致性,包括业务架构和IT架构。
IT架构包含数据架构、应用架构、技术架构。
与业务架构一起,这4个架构是系统设计师从4个不同的视角对系统所进行的建模,每个架构之间既有区别,又有紧密的联系。
目前,常用的企业架构有两条演进路线:一条是以日科曼框架(Zachman Architecture)为基础开发的主流架构框架与方法;另一条是以ISO/IEC14252为基础开发出的框架和方法,包括TOGAF、The Open Group Architecture Framework。
目前,这两种企业架构框架的演进路线相互融合,架构框架的构成要素与定义架构过程基本趋于相同。
笔者通过对Zachman 框架、Togaf框架这两种主流企业架构进行对比分析,提取出以下3点共性特征,作为非结构化数据管理平台架构设计的指导原则:(1)两种架构均能够从多个视角对需求进行分析。
通过引入企业架构,需求分析人员能够全面考虑对象系统各个方面,形成完整的需求分析模型。
把需求分析活动纳入多视图框架中考虑,以更广泛的视角对需求进行建模,将框架内各个单元不同的视角和视点组合,为信息系统开发提供完整的体系结构。
(2)两种架构均能够全面贯彻技术与业务分离。
设计与实现分离这一面对对象设计的核心思想,利于软件工厂模式的全面实现。
基于Zachman框架,不同职责人员能在所有者视图、设计者视图、实现者视图的转换过程中创建各种结果,减少业务变动对设计和实现带来的冲击,避免因数据、系统功能、业务规则和开发人员变动对系统开发形成负面影响。
(3)两种架构均能够有效集成各种主流的建模方法。
基于Zachman框架或基于Togaf框架的需求建模方法是面向过程、面向数据、面向控制和面向对象等各种建模方法的有效集成。
2非结构化数据管理平台需求分析本文根据对国内大型企业非结构化数据应用现状调研结果,结合AIIM、Garnter等权威机构对内容管理业务领域的研究,综合分析出适用于大型企业的非结构化数据管理平台需要重点满足以下需求:(1)满足统一存储需求。
即针对大型企业内各业务应用系统基本采用分散存储各自产生的非结构化数据的应用现状,建立企业内部的非结构化数据存储中心,同时通过制订存储优化策略达到优化存储结构,提高存储资源利用率。
(2)满足集中管理需求。
即通过“标准制订—产品开发—成果实施”的方式提高企业信息化建设中所产生的大量文件档案,如规章制度、工程图纸、合同票据、统计报表等各类非结构化数据的集约化管理水平。
(3)满足全生命周期管理需求。
全生命周期管理是指内容的创建、申请、审核、生效、分发、退休到销毁的全生命周期过程。
全生命周期管理的最大价值是使内容的创建者和使用者能够在全生命周期中协同参与,共同维护,创建者可以完整地控制和管理内容生命周期过程。
(4)满足对外提供非结构化数据的公共服务需求。
能够对外提供基本公共服务(包括内容存储服务、内容访问服务、内容管理服务以及运行监控服务等)及各类工具(数据分析及挖掘工具等),能够对企业内部相关业务应用系统提供统一的非结构化数据利用服务。
(5)满足基于不同开发语言及技术的应用系统的接入需求。
针对大型企业内的业务系统存在业务逻辑多样性、所采用的开发技术多样性的特点,平台须具备对企业内多样化业务系统进行有序、规范接入的能力。
3平台架构设计3.1企业架构设计应用方法在企业架构所包含的四大架构中,业务架构是企业战略目标的分解和细化,描述业务目标、业务场景及业务流程;应用架构解决信息系统功能间的层级;数据架构定义数据模型;技术架构解决系统的集成和部署问题。
这4个架构分别从4个不同的视角对拟开发的信息系统进行了全程建模。
根据上述思想,笔者提出了这4个主要架构的设计路线,如图1所示。
3.2平台业务架构分析业务架构描述平台的业务目标,描述了非结构化数据管理平台的业务能力。
根据中央办公厅2009发布的《电子文件暂行管理办法》(2009年39号文)以及非结构化数据管理平台的关键业务需求,设计如图2所示的非结构化数据管理平台业务架构。
非结构化数据管理平台对企业非结构化数据管理的业务能力自下而上划分为:统一存储能力:是指平台具有能将非结构化数据进行集中存储的能力。
该业务能力使平台能够对企业内大数据量的非结构化数据进行集中存储及存储优化能力,这是非结构化数据管理平台的基本业务能力。
统一标准能力:是指平台作为企业信息基础设施的重要组成部分,必须担负企业内各项非结构化数据管理及应用标准的制订者与实践者的角色,通过制订各类且具可行性的非结构化数据的管理和利用标准,如平台管理办法、元数据标准、数据归集标准、业务应用接入标准等,指导平台各项建设工作的开展。
统一管理能力:是指平台提供对企业内非结构化数据统一管理的能力,如非结构化数据的全生命周期管理、数字资产管理、数据归集管理以及文档管理等。
统一利用能力:是指平台提供内容访问服务、内容处理服务、安全管控服务、高级应用服务,在实现非结构化数据统一存储与统一管理的基础上,实现非结构化数据的安全、高效、增值利用。
统一运维能力:是指平台提供各种能够支撑平台运维的工具(如健康度分析工具、集成管理工具等)来实现对平台的统一运维。
3.3平台应用架构分析应用架构描述非结构化数据管理平台的功能逻辑,描述平台各项功能间的层级关系,是业务架构的技术表现,非结构化数据管理平台的应用架构如图3所示。
非结构化数据管理平台应用架构划分为4个组成部分,分别是非结构化数据管理平台服务器(UDSServer)、非结构化数据管理系统(UDSAdministrator)、非结构化数据管理平台配套工具(UDSTools)、非结构化数据管理平台开发工具包(UDSSDK),具体如下:(1)UDSServer。
它是非结构化数据管理服务器,为UDSAdministrator、UDSSDK、UDSTools提供系统级服务,包括提供内容访问服务、内容传输服务、内容处理服务、内容存储服务等功能。
(2)UDSAdministrator。
它是非结构化数据管理系统,是平台的后台管理模块,主要包括平台管理、应用管理、运行监控、集成管理与统计报表。
(3)UDSTools。
它是非结构化数据管理平台配套工具,提供数据服务工具,如历史数据迁移工具。
(4)UDSSDK。
它是非结构化数据服务开发工具包,提供非结构化数据服务开发工具,目前主要是面向业务系统接入提供开发工具包。
主要包括HTTP接口、WebServices接口、嵌入式控件接口、文件异步上传接口4种方式。
平台的应用架构设计体现了平台以提供非结构化数据服务为中心,将人、信息、应用和流程端到端动态整合的一体化基础信息平台特征。
平台的4大组件之间是松散耦合的,一个模块的变化(功能、数据、过程、技术环境等)不会影响到其它模块的变化,确保了系统具有良好的可扩展性。
3.4技术架构分析技术架构是基于功能和技术的需求,描述系统内模块间的关系以及与其它系统间的相互关系,同时描述平台开发、部署、运行所需的技术组件。
非结构化数据管理平台技术架构设计如图4所示。
非结构化数据管理平台技术架构分层及各层功能说明如下:数据存储层:对外提供数据存储服务,实现业务架构设计中统一存储的目标。
该层主要由内容管理组件、分布式文件系统、存储设备集群组成,该层对外提供存储接口,支撑大数据量非结构化数据在平台的物理存储。
逻辑资源层:用于各业务应用系统在非结构化数据平台的存储映射,支撑大数据量非结构化数据在平台上的逻辑存储。
集成服务层:对外提供非结构化数据全生命周期管理服务,实现业务架构设计中统一标准、统一管理和统一运维的目标。
该层主要由统一数据目录(业务元数据)、用户与权限管理、运行监控、运行策略配置、服务集成框架与服务插件组成。
该层还能和企业内的业务流程管理、业务流程监控、企业服务注册中心、企业服务总线等一体化平台集成服务层进行整合,对外提供统一服务。
业务系统层:业务应用系统既是非结构化数据资源的生产者,又是数据资源和数据服务的消费者。
平台对业务系统提供的各种非结构化数据访问和利用服务集中在该层,该层集中体现平台对业务应用系统提供的对非结构化数据统一访问和利用的业务能力。
信息展现层:即用户界面层,主要是用于非结构化数据管理平台与用户的交互,并根据用户发出的平台请求,展现交互结果。
3.5数据架构分析如图5所示,非结构化数据管理平台的数据架构可以从3个维度进行描述,这3个维度分别对应3个主题域:(1)业务维度。
对应非结构化数据的业务主题域。
该主题域是集中体现平台对人资系统、物资系统、财务系统、综合管理、协同办公等业务体系的非结构化数据存储、展示及运营能力。
(2)生命周期维度。
生命周期维度是指非结构化数据管理平台对文件的管控贯穿于文件的形成—办理—传输—保存—利用—归档这6个环节,覆盖电子文件的整个生命周期,形成了文档一体化的管控体系。
(3)价值维度。
价值维度是非结构化数据从应用的角度来进行价值升华的过程。
非结构化数据管理平台提供文本分析、加工挖掘和信息抽取等技术手段,在满足企业对非结构化数据存储与利用的基础上,实现对文档的分析和挖掘,从海量的文档中挖掘大量对提升业务价值有重要意义的知识,实现基于信息的决策。
4结语对海量的非结构化数据进行有效管理是当今大型企业信息化的研究热点之一。
以微软公司、EMC公司、IBM公司为代表的全球IT 巨头高度重视相关产品的研发工作,非结构化数据管理平台今后将成为大型企业信息基础设施的重要组成部分。
本文分析了非结构化数据管理平台的建设背景和关键业务需求,引入企业架构设计理论,对非结构化数据管理平台的业务架构、应用架构、技术架构及数据架构进行了深入分析,从多个视角对平台进行了建模,搭建了从平台需求分析到系统设计之间的桥梁,为参考文献:[1]夏敬华.内容管理创造数字财富[J].软件工程师,2003(3).[2]SOW AJ F,ZACHMAN JA. Extending and formalizing the frameworkfor information systems architecture [J].IBM Systems Journa,1992(3).[3]许海清,张明明,王纪军.基于企业架构的信息化建设模式[J].电力信息化,2011(9).。