数据治理一体化平台
- 格式:docx
- 大小:395.43 KB
- 文档页数:7
重庆市住房和城乡建设委员会关于对一体化平台工程项目数据实行分级管理和开展数据专项治理的通知文章属性•【制定机关】重庆市住房和城乡建设委员会•【公布日期】2019.10.11•【字号】渝建管〔2019〕39号•【施行日期】2019.10.11•【效力等级】地方规范性文件•【时效性】现行有效•【主题分类】建筑市场监管正文重庆市住房和城乡建设委员会关于对一体化平台工程项目数据实行分级管理和开展数据专项治理的通知各区县(自治县)城乡建委,两江新区、经开区、高新区、万盛经开区、双桥经开区建设局,有关单位:为贯彻住房城乡建设部《关于对全国建筑市场监管公共服务平台工程项目数据实行分级管理和开展数据专项治理的通知》(建市招函〔2019〕48号)要求,配合全国建筑市场监管公共服务平台(以下简称全国平台)工程项目数据实行分级管理,对重庆市建筑市场监管与诚信一体化工作平台(以下简称市一体化平台)工程项目开展数据专项治理,切实保障全市工程项目信息数据质量,提高数据管理和应用水平,现就有关工作通知如下。
一、采集完善工程项目信息(一)对于所有新建房屋建筑和市政基础设施工程项目信息,通过各业务环节系统自动实时归集至市一体化平台,并推送至全国平台。
如,施工许可环节项目信息通过市施工许可证管理系统采集,施工图审查环节项目信息通过市施工图审查管理系统采集,竣工验收备案环节项目信息通过市建设工程竣工验收管理系统采集,其他项目现场管理信息分别由相关项目管理系统采集。
(二)对于尚未进入全国平台或信息不完整的历史项目信息,建筑市场主体可按照《关于进一步加强重庆市建筑市场监管与诚信一体化工作平台应用和管理工作的通知》(渝建〔2018〕213号)和《关于开展重庆市勘察设计企业项目信息补录工作的紧急通知》(渝建〔2018〕103号)的要求进行填报和完善。
经项目所在地住房城乡建设主管部门审核和公示无异议的,进入市一体化平台,并推送至全国平台。
(三)对于已进入全国平台的工程项目信息,数据有误确需修改的,由项目所在地住房城乡建设主管部门审核确认后向市住房城乡建委书面报告,市住房城乡建委按规定程序向住房城乡建设部报告,经同意后修改。
数字时代平台治理的运作逻辑:以上海“一网统管”为例共3篇数字时代平台治理的运作逻辑:以上海“一网统管”为例1数字时代平台治理的运作逻辑:以上海“一网统管”为例数字时代,巨大的数据流量和信息交换渠道直接面对的是平台治理的挑战。
平台治理要保障数据安全,维护市场公平和稳定,促进经济发展等方面的利益。
面对如此复杂的使命与挑战,各地方政府和行业主管单位都在进行尝试和探索,上海市则以“一网统管”为代表,实现了新常态下的数字时代平台治理方式。
本文将以上海“一网统管”为例,探讨数字时代平台治理的运作逻辑。
一、"一网统管"的治理优势“一网统管”既是上海市提升信息化管理水平的战略,也是集聚市政管理的基本平台,通过大数据技术采集管理信息,实现联通合作单位,集中管理和业务投诉处理,提高效率和效益。
这一理念秉承了“管理互联,信访一张网”理念,实现了信息共享,工作协同,资源集约的诉求。
经过运作,"一网统管"体现了数字时代下平台治理的三项优势:1. 整合性优势在数字时代,数据采集和信息和资源整合成为了平台治理的重要内容。
"一网统管"通过采集市民举报,宣传教育信息,反馈问题路线等数据,实现了数据共享和信息整合。
通过“一网通办”,市民可以一站式认证、查询、申请业务,缩短了流程,提高了参与效率。
由此,以上海为代表的数字化平台治理方法,在打通数据信息的积极性和合理性,进一步实现了资源的整合性,将数据信息有效地控制、研判和分配给政府各部门,更好地推动市政管理和政府治理水平的提高。
可谓,举足轻重。
2. 透明性优势数字化治理模式可以实现公开透明。
数字时代,国家和地方政府需要以数字化方式展示自己的决策和政策。
因此,“一网统管”的开放性和透明度为普通市民和企业提供了一个透明的交流平台,促进了政府与民众的交流沟通。
通过“互联网 +政务”,市民可以实时查询政府服务,提出投诉建议,使这些问题直达时任有关领导,大幅降低了社会管理成本。
数据治理平台建设方案目录一、项目概述 (3)1.1 项目背景介绍 (4)1.2 项目目标与期望成果 (5)二、项目需求分析 (6)2.1 业务需求分析 (7)2.2 技术需求分析 (8)2.3 安全性需求分析 (10)三、数据治理平台架构设计 (11)3.1 整体架构设计思路 (12)3.2 数据采集层 (14)3.3 数据存储层 (15)3.4 数据处理层 (16)3.5 数据访问控制层 (18)四、功能模块设计 (20)4.1 数据采集模块 (21)4.2 数据清洗模块 (22)4.3 数据存储模块 (24)4.4 数据分析模块 (25)4.5 数据安全模块 (26)4.6 数据可视化模块 (28)五、技术选型与实施方案 (29)5.1 技术选型原则 (31)5.2 关键技术介绍 (32)5.3 实施方案及时间表 (33)六、项目组织与人员配置 (34)6.1 项目组织结构 (35)6.2 人员配置及职责 (36)七、项目风险管理与应对措施 (37)7.1 项目风险管理分析 (39)7.2 应对措施与预案 (40)八、项目预算与成本估算 (42)8.1 项目预算制定 (43)8.2 成本估算与分析 (44)九、项目实施进度安排 (45)9.1 实施阶段划分 (47)9.2 进度计划表与时间表管理 (47)十、项目后期维护与升级策略 (48)10.1 后期维护计划 (50)10.2 升级策略及规划方案部署计划安排总结概况和数据治理平台的未来发展趋势预测50一、项目概述随着信息技术的快速发展和数字化转型的深入推进,数据已成为组织的重要资产。
数据治理作为管理和优化数据的关键手段,已成为当前信息化建设的核心任务之一。
本数据治理平台建设方案旨在通过构建高效、可靠、可扩展的数据治理平台,提升组织的数据质量,释放数据价值,推动决策优化和业务创新。
提升数据质量:通过平台的数据清洗和校验功能,提高数据的准确性和完整性。
一体化智能化公共数据平台建设方案目录一、项目概况 (2)1.1建设目标 (2)1.2建设需求 (2)1.2.1基础设施体系需求 (2)1.2.2数据资源体系需求 (3)1.2.3网络安全体系需求 (4)1.2.3.1安全合规需求 (4)1.2.3.2安全技术防护需求 (5)1.2.3.3安全运营服务需求 (5)二、建设内容 (5)2.1.基础设施体系 (5)2.2.数据资源体系 (6)2.3.网络安全体系 (6)三、采购清单及技术要求 (6)3.1.采购清单 (6)3.2.技术要求 (30)3.2.1. “一体化智能化公共数据平台”软件部分 (30)3.2.2. “一体化智能化公共数据平台”硬件部分 (123)3.2.3. 服务 (165)3.2.4. 其他 (168)一、项目概况1.1建设目标紧紧围绕数字化改革总目标,依照“两掌入口”+“四横四纵”八大体系架构,坚持“以用促建、共建共享”的原则,打造健壮稳定、集约高效、自主可控、安全可信、开放兼容的新昌县一体化智能化公共数据平台,全面提升平台的标准化、集约化、智能化水平,实现数据资源的高效率配置,全面支撑新昌全领域、全主体、全周期的数字化改革需求。
1.2建设需求一体化智能化公共数据平台是由多应用、多行业、复杂系统组成的综合体,需要统筹建设满足各应用系统业务和技术需求的支撑性平台,能赋予城市资源要素以数字化、智能化、智慧化,以形成城市运行各个条线与功能要素的高效便捷与创新协调,助于提升数字化改革智能化的公共服务水平。
1.2.1基础设施体系需求信息化基础设施是智慧城市运行和发展的基础,需要按照“全局统筹、集约建设、资源共享、规范管理、满足需求、适度超前”的建设原则,构建包含基础通信网络、基础信息设施一体化城市信息化基础设施平台。
提高基础信息设施统筹服务能力,对外提供公共计算资源、存储资源等云计算服务,满足各类场景应用的计算和存储等信息化需求。
实现由相同规模的物理云资源,能支撑更多的应用和用户,提升配套设施的公共服务化水平。
数据治理一体化平台
1、背景
从全球范围的联合国“数据脉动”计划、美国“大数据”战略、英国“数据权”运动、日本“面向2020年的ICT综合战略”、韩国“大数据中心战略”、新加坡“五大系统大数据建设”等先后实施了“国际大数据战略的国家行动”,到国家战略“中国制造2025”以及国务院印发的《“十三五”国家战略性新兴产业发展规划(2016-2020年)》中明确提出了“实施国家大数据战略”的发展规划,无不体现大数据产业发生了深刻变革,成为推动经济社会发展的新动能和新增长点。
为贯彻落实国务院的工作部署,并根据国务院《关于积极推进“互联网+”行动指导意见》、《促进大数据发展行动纲要》、《“十三五”国家政务信息化工程建设规划》《政务信息资源共享管理暂行办法》、《加快推进“互联网+政务服务”工作的指导意见》《政务信息系统整合共享实施方案》等文件,以及创建智慧城市国家试点、信息惠民国家试点城市的要求,加快构建统一的政务数据汇聚共享应用公共服务平台,实现各部门的数据治理、部门间的业务协同和信息共享,逐步实现公共服务事项和社会信息服务的全人群覆盖、全天候受理和“一站式”办理。
数据的治理是大数据的基石,中国代表在2015年已经前瞻性地提出《数据治理白皮书》国际标准研究报告中就明确指示,中国要建立数据治理国际标准体系。
从全球到我省各行各业在大数据的应用项目越来越多,但真正取得预期效果的项目少之又少,究其一重要的原
因就是数据质量问题导致许多预期需求无法实现。
任何行业如果没有通过数据治理保证数据质量,也就无法进行准确的挖掘分析场景,更无法实现理想的深度学习以及人工智能,那么再多的业务和技术投入将是徒劳。
2、产品功能
数据治理一体化平台是利用大数据、微服务、云计算等技术手段,实现各机构资源信息共享。
通过数据处理、数据标准、资源目录、元数据、规则指标、数据质量、数据开放、数据共享、数据挖掘、画像、可视化等系统,实现高质量的数据统一管理、消除数据孤岛现象、完善数据生命周期管理,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理服务,提高社会管理能力和公共服务水平,为公众事项办理、工作人员业务开展、领导决策提供全方位的数据支撑。
总体架构
数据治理一体化平台产品功能:
➢数据集成处理系统:拥有一个可视化界面,通过拖拉界面的组件来设计、构建、部署和管理数据流。
使用者可以通过构
建流分析应用来分析相关事件、复杂模型匹配、事件聚合以
及当特定事件发生时发送通知或警告。
➢数据标准化管理系统:依据国家、行业和地方标准,结合对实际业务全面分析和梳理,通过数据元、数据模型标准化和
信息资源模板化,提供数据标准规范,实现对数据全生命周
期标准化支持。
➢资源目录管理系统:依据国家相关政策标准,实现资源目录的梳理、编目、审核和发布等规范流程,内置资源目录知识
库,可快速构建资源目录体系,支持统建、分建等多种建设
模式。
➢规则指标系统:依赖于大数据平台的通用以及行业规则。
➢元数据系统:对所有数据的元数据进行统一要求管理,包括元数据模型、元数据接口、元数据指标,并且提供血统分析
与影响分析,可快速定位数据质量问题。
➢数据质量系统:数据是企业最具有价值的资产之一,数据质量管理主要是保证数据的正确性,不仅为企业提供经营决策
支撑,还为一线营销提供支撑。
数据质量系统基于元数据系
统并对已定义的标准规则进行分析以及检核,从而发现质量
问题并生成一系列的质量提升报告及建议。
数据集成处理系统将各种来源数据采集,基于数据标准管理系统的数据标准,对各数据元的数据进行数据质量检测,数据资源注册到资源目录管理平台形成统一的资源目录,并注册资源服务到共享云服
务平台提供共享服务,基于资源目录管理平台和共享云服务平台将数据在开放平台对外开放共享,最后通过大数据分析可视化平台对数据资源进行挖掘分析发现数据价值。
业务流程图
3、产品价值
➢支持工作流式处理:通过可视化组件拖拽的方式,灵活定义数据处理工作流,满足不同的业务场景,改变原有通过程序
固化无法实时按实际业务场景进行调整的问题。
➢提供数据标准的执行和服务接口,解决标准落地慢,落地难的问题。
➢提供信息资源,构建目录体系,解决全局信息资源情况掌握不全问题。
➢提供端到端的统一视图来追踪数据沿袭:为用户快速定位数据质量问题,提供血统分析与影响分析。
➢提升用户工作效率:实时值守的数据质量检测,提供数据质
量结果可视化、可监控,当检测到问题时,及时发出警报,
提升用户工作效率。
➢积累行业规则库:支持用户充分利用自身丰富的行业工作经验,积累大量的行业数据标准,通过不断的完善标准、积累
行业规则库,为数据质量提供检测规则。
4、产品亮点
➢数据治理一体化:数据治理一体平台包含六个核心子系统,各子系统均有开放第三方调研接口,因此各系统既可以单独
部署,也可以集成部署。
客户可以根据自身情况,选择部署
一个或多个系统,同时也方便销售人员制定灵活的销售方案。
➢快速数据流处理:数据流处理提供了一系列算子,包括融合、转换、过滤、脱敏、加密、解密等操作,来快速处理流式数
据,最终将理想的数据输出或者通过服务开放。
➢任务级别的调度:系统支持离线批处理任务级别的控制,即对整个工作流暂停或继续,暂停时能够保存工作流的中间任
务结果,启动时又可以从中间任务点继续运行。
这种操作方
式可以支持管理员灵活调配系统运行时的资源,而不会浪费
任务之前运行的结果,极大的方便了系统的运维工作。
➢统一元数据管理:完善的数据生命周期管理,自动化的实现数据中心的各类数据在整个生命周期内的各个环节变迁,并
建立数据之间的关系,方便定位数据问题。
➢元数据值守采集:针对Hadoop生态下的开源大数据框架开发
值守式(Hook)元数据采集器,能够是准实时的捕捉源系统的变化情况、不仅采集元数据变化的前后状态,还捕获状态变化的具体过程,包括创建、转换、删除、插入等。
➢行业数据标准化:提供数据标准规范化、模板化、本地化和服务化;内置丰富的资源目录和知识库。
为用户提供数据标准查阅、数据标准梳理、数据标准管理、数据标准应用、数据标准分析等数据标准化解决方案,构建统一规范的数据标准体系。
➢数据问题知识库:积累形成数据质量优化知识库,专门针对各种数据质量问题,提出对应的数据质量优化方案,提高工作效率。
➢海量数据多维检索:大数据全文检索,支持多级索引,特别是大数据量的多维检索上,能够高效响应用户的检索需求,快速精准定位,快速反馈查询结果。
➢完整的数据治理闭环:平台功能覆盖了数据治理全流程中的各个环节,形成从数据接入、到质检结果输出,再到治理跟踪、质检评分的治理闭环。
形成一套标准化的数据治理支撑体系,更加系统性、规范性地配合数据治理人员开展工作。
➢自定义拖拽式工作流:数据治理人员可以通过拖拽的方式,可视化自定义数据处理工作流,无论是批量离线数据还是流式数据,均能集成统一处理。
操作过程全程零代码操作,治理人员只需要关注业务本身,不需要关注技术,大大提高了
工作人员的效率。
➢丰富的基础规则云库:平台集成了丰富的基础校验规则,包括了一致性、完整性、有效性、规范性和精确性五项维度,拥有更细粒度的规则计算因子和规则算法库,并通过Jar包的方式,开放给第三方系统调用。
➢客观的质量定量描述:采用“后向登记”的方法,即先规划数据质量检测方案,然后再对数据质量进行检测,从而更加客观、符合业务需求的进行评分。
这样既有利于数据质量检测任务的角色划分,也避免了检测内容的缺漏、错误。
同时平台能够更加智能化的根据标准元数据和行业规则,自动生成质量校验任务,数据治理人员只需要简单的调整即可,大大提高了工作效率。