系统数据提取管理办法

科学数据管理办法近年来，随着科技发展的不断推进，科学数据管理已成为推动科研成果及服务水平提升的重要手段，也是科研组织实现全面运行管理的前提。

为规范、改进科学数据管理，加强其社会责任意识，提高其服务能力，根据《中华人民共和国科学技术法》，由中华人民共和国科学技术部制定本办法。

一、科学数据的定义科学数据是指专业人员和机构在科学研究和技术应用中收集的或者获取的具有理论价值、实用价值的信息，其中包括实验数据和计算数据等。

二、数据的搜集与提取（1）科学数据采集：科学数据的采集是指从现有科学研究资料中搜集、提取和分类有关数据，可以采用数据库搜索、实地调查等方式。

（2）数据提取：科学数据的提取是指从专业资料中提取有用的科学数据，通常包括对资料的读取和记录，通过分析和评价，从而提取出可以使用的有用数据。

三、数据的组织和整理（1）数据概括：数据概括是指将原始数据进行概括，根据科学研究的需要，重新组织概括数据，以实现数据的统计分析。

（2）数据整理：数据整理是指对科学数据进行统一格式的编排，确保其格式的规范性、系统性和完整性，以便获取更准确的数据分析结果。

四、数据的存储数据存储是指将数据按照一定的规则和格式存储在相应的设备或平台上，进行定期更新和保存。

一般来说，数据存储可以分为硬件存储和软件存储。

硬件存储是指将数据存放在硬件设备上，如磁盘、CD-ROM等，而软件存储则是将数据存放在软件平台上，如云计算、大数据分析系统等。

五、数据的共享科学数据的共享主要指将已经获得的数据发布到某种公共网络上供他人使用，也可以是将数据交由他人使用。

数据共享可以大大提高科研效率，解决重复劳动，促进科研成果快速推进，为科学发展做出贡献。

六、数据的安全科学数据的安全是指科学数据不受非法侵害，和不受意外损坏等。

科学数据安全的管理主要有以下几个方面：（1）对科学数据的采集、提取、组织和整理过程进行安全管理；（2）实行完善的科学数据共享机制；（3）建立、实施安全策略，保证数据安全；（4）建立严格的数据备份机制。

数据安全管理规范202x年xx月xx日修订记录目录第一章总则 (1)第二章数据安全基础建设 (1)第一节组织保障 (1)第二节数据资产管理 (2)第三节数据分类分级 (2)第四节信息资源目录 (3)第五节数据安全防护能力建设 (3)第三章数据安全访问控制 (4)第一节账号管理 (4)第二节身份鉴别 (5)第三节授权管理 (5)第四章数据全流程安全管控 (6)第一节数据收集 (6)第二节数据传输 (7)第三节数据存储 (7)第四节数据使用 (8)第五节数据共享 (9)第六节数据删除 (9)第五章数据安全日常管控 (10)第一节数据安全运维 (10)第二节风险监测 (10)第三节风险评估 (11)第四节数据溯源和日志审计 (12)第六章数据安全应急管理 (13)第七章人员管理及培训 (13)第八章受托方数据安全管控 (14)第九章附则 (15)第一章总则第一条为加强大数据平台（以下简称“本单位”）的数据安全管理，规范和指导本单位数据处理和数据安全执行活动，根据《中华人民共和国数据安全法》等法律法规，以及本单位《数据安全管理办法》，结合实际情况制定本规范。

第二条本规范对本单位数据安全建设、数据全流程处理活动、数据安全日常管理、应急管理、访问控制、人员管理和培训等相关事项提出要求。

第三条本规范适用于本单位内非涉密数据。

第二章数据安全基础建设第一节组织保障第四条数据安全执行部门设置专门人员负责本单位的资产管理，权限管理，数据收集共享开放管理，日常监测预警，应急管理及风险评估等活动。

第五条数据资产管理员负责数据库资产管理，对数据库资产的申请、使用、回收负管理责任，审核并确保资产使用的合理性。

第六条数据权限管理员应与数据处理、运维或操作人员相互独立，负责对所有数据和数据资产的访问权限管理，负责账号与人员实名对应，并审查权限分配的合理性。

第七条数据收集共享负责人对数据收集和共享开放流程进行管控，核实数据收集来源，并对信息资源目录进行管理和审核。

附件数据质量管理办法（2023年版）第一章总则第一条为规范（以下简称“本行”）数据质量管理，持续优化数据质量，有力支持业务经营管理和分析决策，提升本行数据资产的业务价值，根据《数据治理管理办法》，结合工作实际，制定本办法。

第二条本办法所称数据质量是指数据具备准确性、完整性、及时性、一致性、唯一性、关联性、有效性等。

具体含义如下：（一）准确性：指数据是否能够真实、正确、精准地反映实际情况，符合数据标准，包括对象、事件、属性（业务属性和管控属性）等。

（二）完整性：指数据是否全面地、持续地被采集、加工及存储，可将已存储数据量与潜在（应采未采）数据量视作衡量指标之一。

（三）及时性：指数据是否能够在要求时间内获取。

（四）一致性：指同一数据的内容与形式的一致程度，包括但不限于其类型、属性（技术属性）、格式等，是否具有一致定义与含义。

（五）唯一性：指数据在特定数据集中不存在重复值。

（六）关联性：指数据是否具有明确关联关系且关联关系被准确定义。

（七）有效性：指数据能够符合值域要求，满足实际使用需要。

第三条数据质量管理原则：（一）统一规范，源头管理。

各项数据遵循数据标准进行统一规范管理，确保分类与属性清晰准确。

数据质量问题采用溯源定位方式，从根源上解决问题，特别是在数据采集、录入等初始环节及源系统管理方面。

（二）全程监控，聚焦重点。

建立数据全生命周期监控体系，从采集、加工、存储、维护，到提取、审核、应用进行全方位管理。

有效识别关键数据、异动数据等重大情况，确保数据质量问题及时发现并迅速处理。

（三）严肃考核，持续改进。

建立数据质量考核评价体系，将考核结果纳入全行考核评价体系。

通过运用管理工具、现场检查等手段，对数据质量进行监测，督促问题及时反馈、纠正，通过持续跟踪评价，最终实现数据质量不断提升。

第四条数据质量管理主要内容包括问题发现、分析、修复，管理工具建设与维护，考核与评价等内容。

第五条监管统计报送数据作为本行数据质量管理重点领域。

数据提报管理制度一、总则为规范和加强数据提报工作，保障数据的准确性和完整性，提高数据资料的及时性和可靠性，提高数据处理效率，特制定本制度。

二、适用范围本制度适用于所有涉及数据提报工作的部门和人员。

三、职责与权限1. 数据提报部门负责数据的收集、整理、归档和报送工作。

2. 各部门应根据所需数据及时向数据提报部门提供相关数据。

3. 所有涉及数据提报工作的人员都必须严格按照规定的程序和要求完成数据提报工作。

四、流程与要求1. 数据提报部门应严格按照设定的时间节点进行数据的收集和整理，确保数据的及时性和完整性。

2. 数据提报部门应根据不同部门和人员的需求，制定不同的数据提报方案，确保数据的准确性和可靠性。

3. 数据提报部门应建立健全的数据归档管理制度，对已提报的数据进行详细归档，以备日后查询和审核。

4. 各部门应按照规定的时间节点向数据提报部门提供相关数据，确保数据的及时更新和完整性。

5. 所有涉及数据提报工作的人员都必须按照规定的程序和要求完成数据提报工作，不得随意篡改或删除数据。

五、监督与考核1. 数据提报部门应建立健全的监督考核制度，对数据提报工作进行定期检查和评估，发现问题及时进行整改。

2. 数据提报部门应及时向各部门反馈数据的处理情况，以便各部门及时跟踪数据的进展情况。

3. 各部门应根据数据提报部门的监督考核情况，对数据提报工作进行自我评估和整改，以提高数据提报工作的质量和效率。

六、处罚与奖励1. 对于不按照规定程序和要求完成数据提报工作的人员，数据提报部门有权进行通报批评或者追究相关责任。

2. 对于在数据提报工作中表现突出的人员，数据提报部门应给予适当的奖励和激励，以促进工作积极性和创新性。

七、附则1. 本制度自颁布之日起执行，并不时进行修订和完善。

2. 对于本制度的具体解释权归数据提报部门所有。

以上为数据提报管理制度，希望各部门和人员能严格遵守执行，确保数据提报工作的准确性和及时性，提高数据处理效率，为企业的发展和发展提供有力的支持。

数据生存周期管理办法
数据生存周期管理是指对数据的整个生命周期进行管理，包括数据的收集、存储、处理、使用和销毁等各个阶段。

下面列举一些常见的数据生存周期管理的办法：
1. 数据收集阶段：
- 限制数据收集范围，只收集必要的数据，避免收集过多的无用信息；
- 明确目的，告知数据来源和收集目的，确保数据采集的合法性，符合用户知情权和选择权；
- 确保数据采集的合法性，符合相关法律法规的规定，如个人信息保护法等。

2. 数据存储阶段：
- 对数据进行分类存储，将敏感信息和非敏感信息分开存储，确保敏感数据的安全性；
- 对数据进行加密和安全备份，防止数据泄露和丢失；
- 对数据进行合理的存储期限规定，根据法律法规和业务需要确定数据的存储时间，并及时进行数据清理。

3. 数据处理和使用阶段：
- 对数据进行安全加工和脱敏处理，确保敏感信息的安全性；
- 严格控制数据的访问权限，实施权限管理和访问审计；
- 在数据的处理和使用过程中，遵循数据最小化原则，只提取和使用必要的数据。

4. 数据销毁阶段：
- 制定数据销毁的具体方案，包括销毁的方式、时间和责任人等；
- 对敏感信息进行彻底的删除，确保不可恢复；
- 对存储介质进行安全销毁或清除，防止数据泄露。

5. 数据风险评估和监控：
- 定期进行数据安全风险评估，发现并解决潜在的数据安全问题；
- 实施数据安全监控和漏洞扫描，及时发现和应对数据安全威胁。

以上是数据生存周期管理的一些基本办法，企业可以根据具体情况和业务需求，制定相应的管理策略和操作手册，确保数据的安全和合规性。

第一条第二条第三条第四条第五条第六条第七条第八条第一节总则为规范数据管理工作，降低数据被非法生成、变更、泄露、丢失及破坏的风险，特制定本制度。

本制度中数据是指信息系统中的各种业务和财务数据。

本制度所指数据管理包含涉及数据修改、导入、提取，数据处理处理过程中对数据真实性的保证，数据内、外部传输的工作。

第二节数据保存管理对于与财务报告相关的各种业务数据，须保存 10 年。

重要的业务数据要保证物理上的安全，存放数据的介质必须放在安全的地方，非授权人员不得访问。

关于数据备份的管理，参见《备份管理制度》。

第三节数据导入和修改数据导入指信息技术部指定的 IT 人员应数据拥有部门要求，通过后台数据库，将数据导入运行环境的操作。

对于发生在批处理中的自动数据导入，请参见《批处理操作管理及监控制度》中的相关内容。

数据修改指信息技术部指定的 IT 人员应数据拥有部门要求，对公司信息系统中的数据在后台数据库中进行的修改。

数据修改包含数据内容的修改以及数据库结构的变更。

第九条数据拥有部门提交《数据导入/修改/提取申请表》 (附件一)，申请表中需要具体描述导入/修改的原因和内容。

申请表需经过数据拥有部门负责人审批。

第十条系统管理员(兼任数据库超级用户)收到申请表后，应与申请部门再次核对申请表内容，若是数据导入申请，对要导入的数据来源进行检验，确保其有效性和安全性；然后，分析导入 /修改可行性及后果，若可以导入/修改，进一步提供导入/修改方案。

方案中须提供准确性和完整性的检查办法和对错误数据录入 /修改的处理办法。

最后，把这些结果提交 IT 系统主管审批。

第十一条IT 系统主管根据系统管理员提供的意见决定是否接受数据导入/修改申请。

如不接受申请，出具理由，并告知申请部门；若接受申请，须进一步根据导入/修改方案的复杂程度，确定是否需要先在测试环境中测试，以保证数据导入/修改方案的准确性。

第十二条数据导入/修改申请通过审批后，由系统管理员联系第三方服务提供商，并向第三方描述和解释数据导入/修改需求和方案。

数据信息管理操作细则第一章总则第一条为了数据安全管理工作，有效保护公司及客户的合法权益不受侵害，防范敏感数据泄露等安全隐患，保障数据信息的真实、完整、可用和安全，依据国家、监管机构及行业协会的相关法律法规，结合公司实际情况，特制定本操作细则。

第二条本规定适用于合作项目下，在创建、使用、流转、存储、销毁过程中产生的电子、纸质或其他形式存在的底层资产数据（以下简称“数据”）信息，包括对数据信息的管理及披露。

数据信息包含但不限于下列内容：（一）客户相关信息,包括:1.自然人客户信息和法人及非法人组织客户信息，比如客户基本信息、账户信息、交易信息、财务信息等。

2.为了建设评分模型及风险控制需要，通过从合作机构接入的底层客户信息，调用第三方数据接口而返回的客户相关的工商、诉讼、舆情、反欺诈、运营商数据、历史逾期、税务、发票等补充信息。

3.其他客户相关信息。

（二）业务相关信息，包括:1.底层资产涉及放款、还款计划、实还流水、回购信息、与实际业务相关的场景信息、押品及设备信息；根据评审会批准方案要求、风控审核要求或者实际运营要求接入的其他业务相关信息。

2.从通道方（银行/信托等）或者助贷机构接入的支付流水信息等。

3.其他业务相关信息。

（三）风控运营指标信息：对接收的底层资产数据信息，经过加工计算形成的风控运营指标等。

第三条数据管理遵循“谁管理，谁负责，谁使用，谁负责”的原则。

第二章部门职责第四条XX部门是客户相关信息、业务相关信息和风控运营指标信息的数据归口管理部门，主要职责包括：（一）系统功能层面,负责提出系统安全需求，对客户敏感信息提出加密或脱敏需求，保护客户信息不被泄露。

（二）系统功能层面，对底层资产数据信息的显示、下载等提出需求。

（三）对数据的使用及权限管理进行初步授权，经xx 岗批准后可最终授权使用。

第五条信息部是系统相关数据管理的归口管理部门，是系统相关数据管理的第一责任人，主要职责包括：（一）牵头制定系统数据管理等操作细则。

国家海域使用动态监视监测管理系统数据资料管理办法文章属性•【制定机关】国家海洋局•【公布日期】2008.05.19•【文号】•【施行日期】2008.05.19•【效力等级】部门规范性文件•【时效性】现行有效•【主题分类】主权领土正文国家海域使用动态监视监测管理系统数据资料管理办法（二〇〇八年五月十九日）第一章总则第一条为保证国家海域使用动态监视监测管理系统（以下简称系统）数据资料的质量、安全和时效性，促进数据资料的共享和合理使用，依据《国家海域使用动态监视监测管理系统总体实施方案》制定本办法。

第二条系统运行中所有相关单位在数据资料采集处理、汇交和管理中的责任、任务和权限，依据本办法执行。

第三条本办法所称数据资料主要包括海洋基础地理、海域使用确权、海洋功能区划、地面监视监测、卫星遥感、航空遥感数据，以及在上述资料基础上做出的分析与评价成果等形成的数据、表格、图形、图像、影像及相关文字等。

第四条为了确保数据资料及时准确上报，地方各级系统软件设计必须具备以下功能：本省市海洋功能区划、地面监视监测和海域使用确权等数据一经确定完成入库，具有自动上报国家海域使用动态监管中心（以下简称国家监管中心）和国家海域使用动态监视监测同步数据中心（以下简称国家同步数据中心）的功能。

第五条有关监管中心在将数据资料提交国家监管中心的同时抄报给国家同步数据中心，国家监管中心在下发给有关监管中心数据资料的同时也交付给国家同步数据中心。

在规定期限内不能按时提交数据资料的，应及时提供书面说明。

第六条国家监管中心负责系统数据资料管理工作，并要建立严格的资料接收、下发、登记制度，为海域管理司对系统运行监督检查提供详实的依据。

国家同步数据中心必须建立严格的资料接收、下发、登记制度，作为海域管理司对系统运行监督检查的备份依据。

第七条地方各级监管中心必须详细记录由国家监管中心和国家同步数据中心下发的有关数据的情况。

第八条海域管理司依据系统运行及资料接收报送情况及时调整工作及经费安排。

医院数据抽取解决方案文档修改记录1数据集成及访问架构详细的数据抽取及建设方案以临床数据中心（CDR）的数据集成建设为例，数据集成如下图所示：图3-1 数据集成架构图数据集成架构：下面从ETL功能架构中的抽取、清洗、转换、加载等方面对数据ETL功能框架中的关键服务进行阐述。

1）抽取：此步骤负责将数据中心所需的数据从医院各个业务系统复制数据源中提取出来。

由于各个数据源内的数据及其质量各不相同，因此针对每个数据源都可能需要建立各自独立的抽取流程。

抽取流程的目的在于将数据从数据源抽出并通过一组通用接口传送给数据抽取架构完成清洗及转换步骤。

2）清洗：此流程负责对数据进行清洗与确认，使之与数据仓库所要求的数据标准与质量相符合。

数据清洗流程的设计可以划分为两类：一类是针对特定业务源系统编写的专用清洗程序，而另一类则是适用于各类业务源系统及数据仓库内清洗需求的通用程序。

由于从源系统抽取的数据都存在不同程序的不一致性，因此可以通过使用相关规则来检查和改善数据质量。

此外，由于很多业务原系统的清洗规则和处理流程基本相同，因此应该将关键的清洗功能设计为通用函数，通过变化参数来满足不同业务源系统的清洗需求，以提高其可重用性。

3）转换：此步骤负责对源系统所抽取数据进行操作或放大。

转换流程是数据在进入数据仓库前最后一次进行修改的环节。

4）加载：作为ETL流程的最后一步，加载流程负责将数据加载到最终数据结构中，这些结构可能是维度表，也可能是事实表或者事务表等。

加载步骤中的关键组件是代理键管道（surrogate key pipeline），代理键管道主要用于将加载完成的数据表内自然键替换成代理键。

在代理键管道内，维度表的主键与外键仍然得到保留，但是为了提升系统性能，在完成加载结束以后，一些约束条件将被去除而仅保留自然键进行。

目前，数据采集有两种方案，一种方案是通过HSB数据交换的方式进行数据的集成采集，其优点是数据的实时性高，其最大的弊端是数据的采集要依赖于业务系统的接口改造；另一种方案是通过ETL方式抽取数据，其优点是不依赖于业务系统，缺点是实时性没有HSB采集方式高，但也可通过CDC等方式实时同步数据方式进行弥补。

**数据分析的管理办法**数据分析是组织中利用数据来提取有价值信息和洞察的过程。

有效的数据分析可以帮助组织做出明智的决策、发现潜在机会并优化业务流程。

为了确保数据分析的准确性和有效性，需要采取一些管理办法来指导和支持数据分析的实施。

以下是一些数据分析的管理办法，包括确定目标、数据收集和整理、选择适当的分析方法、可视化展示、持续学习和改进。

一、确定目标在进行数据分析之前，明确目标非常重要。

组织应该明确希望通过数据分析解决的问题、获得的洞察或达到的目标。

明确的目标有助于指导数据分析的方向和方法选择，并确保最终的分析结果与组织的战略目标相一致。

二、数据收集和整理数据的质量和准确性对于数据分析至关重要。

组织应该收集和整理与目标相关的数据，确保数据的完整性和一致性。

这可能涉及到数据清洗、数据验证和数据整合等步骤。

良好的数据收集和整理过程可以提供高质量的数据基础，以支持后续的数据分析工作。

三、选择适当的分析方法根据目标和数据特点，选择适当的数据分析方法是必要的。

组织可以采用统计分析、机器学习、数据挖掘等多种方法来进行数据分析。

选择合适的分析方法有助于从数据中提取准确和有意义的信息，并为组织提供有价值的洞察。

四、可视化展示将数据分析结果以可视化的方式展示对于理解和传达非常重要。

组织应该使用图表、图形、仪表盘等工具，将复杂的数据分析结果转化为直观和易于理解的形式。

可视化展示可以帮助决策者更好地理解数据背后的故事，并支持决策和行动的制定。

五、持续学习和改进数据分析是一个不断学习和改进的过程。

组织应该鼓励员工进行持续学习，了解最新的数据分析技术和工具。

组织还应该建立一个反馈和改进机制，通过评估和总结过往的数据分析项目，发现问题和改进点，并将其纳入到未来的数据分析实践中。

六、数据保护和隐私在进行数据分析时，组织应该确保数据的保护和隐私。

组织需要遵守相关的数据保护法规和隐私政策，并采取适当的安全措施来保护数据的机密性和完整性。