基于大数据平台的数据治理思路

ＴＥＣＨＮＯＬＯＧＹ　技术应用　

◆刘世民　刘阜阳　樊　锐　

摘要：基于大数据技术的历史数据治理工作，针对典型需求以分散存放数据　－２集、历史系统资　源释放和数据规划管理为主，解决同一业务，不同历史时期的不同开发环境以及运行环境遗留下来的　数据的集中　－３一难题，提供跨系统数据集中存储、整合和引用的解决方案，解决多系统信息分散等问　题。建立全业务流程的监控、审计和追溯体系，优化资源整合，实现企业信息化的集约化发展。　关键词：大数据技术；集约化发展；全业务流程　

一、具体问题描述　

（一）背景介绍。某企业财务系统在信息化建设过程中　

经历了数次信息系统迁移。在公司成立初期，财务信息系统　为远光核算３．０和集团报表２．１，２０１０年上线财务管控系统　

和ＥＲＰ系统，２０１４年完成集中部署系统上线，财务账务数　

据历史数据分散在不同的系统不同数据库中。另外由于县级　

企业上划，其财务系统切换更加复杂，财务数据更加分散。　

（二）问题分析。由于信息系统的数次迁移，财务系统　

切换的复杂性和财务数据的分散性特点，当前系统存在较大　的风险和问题，具体体现在：　

１．数据分散存放，存在极大安全隐患。历史系统脱管导　

致的数据丢失风险加大。例如县级单位上划和集中部署后历　

史系统处于脱管状态。部分历史数据存储位置不明确，查询　困难的情况，尤其是代管阶段的财务数据，历史数据蔑视的　

风险加大。　

２．历史系统资源无法释放，存在资源浪费。历史系统及　

其维护成为负担，占用的资源无法释放。　

３．多系统、跨系统数据无法有效整合利用。经历数次信　息系统迁移，使得业务／财务数据在时间上分散于多套系统，　

多套系统间以及多个账套间的切换费时费力，造成查询、分　

析应用数据困难。　

４．历史数据管理缺乏统一规划，获取困难，成本高昂。　历史数据未能统一规划导致的历史数据不连续，业务关系不　

易追溯。指标无法通过横向比较和纵向分析支持决策分析。　

二、主要思路和做法　

（一）研究和解决问题的方法论。为解决集中部署后面　

大数据平台数据管控整体解决方案

目录

一、内容描述................................................2

二、项目背景与目标..........................................3

三、解决方案架构概览........................................4

四、详细技术方案............................................5

4.1 数据采集与整合方案...................................7

4.2 数据存储与管理方案...................................8

4.3 数据处理与分析方案...................................9

4.4 数据安全与隐私保护方案..............................10

五、平台功能设计...........................................12

5.1 数据访问控制模块....................................13

5.2 数据处理与挖掘模块..................................15

5.3 数据监控与预警模块..................................16

5.4 数据质量管理与优化模块..............................17 六、实施步骤与时间表安排...................................18

6.1 实施准备阶段任务安排................................20

6.2 平台搭建阶段任务安排................................21

大数据治理方案

大数据治理方案是指在大数据应用环境下，为了保证数据的质量、可用性和安全性而采取的一系列措施和方法。下面是一个大数据治理方案的示例，以介绍大数据治理的主要内容和实施步骤。

1. 数据分类和清洗：首先，对数据进行分类，根据数据的类型、用途和敏感程度进行划分。然后，对每个分类中的数据进行清洗，去除重复数据、错误数据和不完整数据，确保数据的准确性和完整性。

2. 数据标准化和规范化：为了能够对大规模数据进行有效的管理和分析，需要制定统一的数据标准和规范。这包括统一数据命名规范、数据存储格式、数据字段的定义和数据交换协议等。通过数据标准化和规范化，可以提高数据的可读性、可维护性和可互操作性。

3. 数据访问和权限控制：大数据环境中有大量的数据，很多数据都是敏感的。因此，需要对数据访问进行严格的权限控制，确保只有经过授权的人员才能访问敏感数据。可以采用身份认证、访问控制列表等方式来实现数据的安全访问。

4. 数据质量监控和评估：为了确保数据的质量，需要定期对数据进行质量监控和评估。可以采用数据审核、数据校验、数据清理等手段，对数据进行自动化的检测和修复，及时发现和解决数据质量问题。

5. 数据备份和恢复：数据备份是保证数据安全和可恢复性的关键措施。需要定期对数据进行备份，并将备份数据存储在安全可靠的地方。在数据丢失或损坏的情况下，能够快速恢复数据，确保业务的连续性和可靠性。

6. 数据生命周期管理：对于不同类型的数据，其生命周期也会有所不同。需要根据数据的价值和用途制定数据的生命周期管理策略，包括数据的创建、存储、使用、归档和销毁等阶段。通过有效管理数据的生命周期，可以控制数据的数量和规模，避免数据的无限制增长和浪费。

7. 数据安全防护：数据安全是大数据治理的核心内容之一。需要通过加密、脱敏、掩码等技术手段，保护数据的机密性、完整性和可用性。同时，还需要建立灵活、可扩展的安全策略和机制，及时发现和应对潜在的安全威胁。

医堂信皇堂盘查至Ｑ！墨笙蓥塑鲞墓墨翘！Ｑ堕垦丛丛Ｑ！丛！Ｑ！坠！！丛堕垦丛鲤鱼至Ｑ！墨：塑！：塑：丛Ｑ：墨

基于云计算的医疗大数据挖掘平台

高汉松肖凌许德玮桑梓勤

（武汉邮电科学研究院武汉４３００７４）

［摘要］介绍大数据时代医疗行业数据挖掘面临的挑战，结合云计算提出一种基于Ｈａｄｏ叩生态环境搭建的医疗云数据挖掘平台架构，详细阐述其各层功能，包括基础层、平台层、功能层以及业务层，以期为医疗行业的大数据分析及挖掘提供新思路。［关键词］云计算；大数据；数据挖掘

ＭｅｄｉｃｍＤａｔａＭｉｎｉｎｇＨａｔｆｂ珊ＢａｓｅｄｏｎＣｌｏｕｄＣ伽叩ｕｔｉｎｇＧＡ０月ｈｎ—ｓｏ凡ｇ，删０￡ｉｎｇ，ＸＵＤｅ一训ｅｉ，ｓＡⅣＧ而一ｑ讯，阢ｌ＾ｎｎ胁ｓｅｏｒｃ＾ｈＬ旷胍拈＆死＾∞船，耽如ｎ４３０Ｄ刀，吼ｉＭ［Ａｂｓｔｒａｃｔ］Ｔｈｅｐａｐｅｒｉｎｔｍｄｕｃｅｓｔｈｅｃｈａｕｅｎｇｅｏｆｄａｔａｍｉｎｉｎｇｏｆｍｅｄｉｃａｌｉｎｄｕｓｔｒｙｉｎｔｈｅａｇｅｏｆｂ远ｄａｔａ，ａｎｄｐｍｐｏｓｅｓａｐｌａｔｆｂ肌ｏｆｍｅｄｉｃａｌｄａｔａｍｉｎｉｎｇｂａｓｅｄｏｎＨａｄ００ｐｅｃｏｓｙｓｔｅｍｗｉｔｈｔｈｅｔｅｃｈｎｏｌｏｇ）ｒｏｆｃｌｏｕｄｃｏｍｐｕｔｉｎｇ．Ｔｈｅｄｅｔａｊｌｅｄｆｕｎｃｔｉｏｎｌａｙｅｒｉｓａｌｓｏｄｅｓｃｒｉｂｅｄｉｎｔｈｅｐａｐｅｒｉｎｃｌｕｄｉｎｇｆｕｎｄａｍｅｎｔａｌｌａｙｅｒ，ｐｌａｄｂ瑚ｌａｙｅｒ，ｆｕｎｃｔｉｏｎｌａｙｅｒａｎｄｂｕｓｉｎｅｓｓｌａｙｅｒｆｏｒｐｍＶｉｄｉｎｇｎｅｗｉｄｅａｓｆｏｒｂ培ｄａｔａａＪｌａｌｙｓｉｓａＪｌｄｍｉｎｉｎｇｉｎｍｅｄｉｃａｌｉｎｄｕｓｔｒｙ．［Ｋｅｙｗｏｒｄｓ］ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；Ｂｉｇｄａｔａ；Ｄａｔａｍｉｎｉｎｇ

１引言１．１大数据随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展，其数量之大和种类之多令人难以置信。例如：一个ＣＴ图像含有大约１５０ＭＢ的数据，而一个基因组序列文件大小约为７５０ＭＢ，一个标准的病理图接近５ＧＢ。如果将这些数据量乘以人口数量和平均寿命，仅一个社区医院或一个中等规模制药企业就可以生成和累积达数个ＴＢ甚至数个［修回日期］２０１３—０４—２５［作者简介］高汉松，工程师，发表论文３篇。［基金项目】科技部９７３项目“面向云计算的数据传输用新型光纤及云存储数据高可用性关键技术研究”（项目编号：２叭２ＣＢ７２４１０５）。ＰＢ级的结构化和非结构化数据。１．２云计算目前，云计算已经普及并成为ＩＴ行业的主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下催生出来的一种基础架构和商业模式。大数据的出现，正在引发全球范围内深刻的技术与商业变革。微软公司全球资深副总裁、亚太研发集团主席张亚勤博士认为“云计算和大数据是一个硬币的两面，云计算是大数据的ＩＴ基础，而大数据是云计算的一个杀手级应用”。云计算是大数据成长的驱动力，而另一方面，由于数据越来越多，就更加需要云计算去处理，所以二者是相辅相成的。随着医疗和健康数据的急剧扩容和几何级的增长，如何充分利用包括影像数据、病历数据、检验检查结果、诊疗费用等在内的各种数据，基于云计算技术，搭建合理先进的数据