DWS

金融项目dws层宽表设计实例

摘要：

一、引言

二、DWS层宽表设计概述

1.DWS层宽表的定义和作用

2.DWS层宽表的设计原则

三、金融项目DWS层宽表设计实例

1.项目背景和需求

2.数据分析和准备

3.DWS层宽表设计实现

4.结果展示与分析

四、总结与展望

正文：

一、引言

随着金融行业的快速发展，数据量呈现出爆炸式增长，如何高效地处理和分析这些数据变得越来越重要。在此背景下，DWS（Data Warehouse Detail

Schema）层宽表设计技术应运而生，它能够有效地提高数据处理速度和分析效率。本文将通过一个金融项目DWS层宽表设计的实例，详细介绍DWS层宽表的设计方法。

二、DWS层宽表设计概述

1.DWS层宽表的定义和作用 DWS层宽表是一种数据仓库设计方法，它将数据按照主题划分成多个层次，包括数据源层、数据抽取层、数据清洗层、数据汇总层和DWS层。DWS层宽表位于数据仓库的第五层，主要用于存储经过清洗、处理和汇总后的详细数据，以支持各种数据分析和报表需求。

2.DWS层宽表的设计原则

设计DWS层宽表时需要遵循以下原则：

（1）满足业务需求：DWS层宽表的设计应紧密围绕业务主题，确保所包含的字段能够满足业务部门的各种分析需求。

（2）保持数据一致性：DWS层宽表中的数据应保持一致性，避免数据冗余和矛盾。

（3）数据标准化：DWS层宽表中的数据应进行标准化处理，以便于进行跨业务领域的比较和分析。

（4）易于维护和扩展：DWS层宽表的设计应考虑数据的历史变化和未来扩展，以便于数据的维护和更新。

三、金融项目DWS层宽表设计实例

1.项目背景和需求

某金融公司为了提高数据分析效率，决定采用DWS层宽表设计方法对业务数据进行处理。项目需求包括：

（1）设计并实现DWS层宽表，以支持各种业务数据分析需求。

（2）提供灵活的数据查询和报表功能，方便业务部门进行数据分析和决策。

01数据层次的划分

具体仓库的分层情况需要结合业务场景、数据场景、系统场景进行综合考虑，下面我们看一下常见的分层

• ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到数仓。

• CDM：Common Data Model，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。

▪ DWD：Data Warehouse Detail，明细数据层。

▪ DWS：Data Warehouse Summary，汇总数据层。

• ADS：Application Data Service，应用数据层。

02数据分类架构

该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：

• 公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。

• 明细粒度事实层：以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当的冗余，即宽表化处理。

• 公共汇总粒度事实层：以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化模型。

03数据划分及命名约定

请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。

数据划分

• 按业务划分：命名时按主要的业务划分，以指导物理模型的划分原则、命名原则及使用的ODS project。

• 按数据域划分：命名时按照CDM层的数据进行数据域划分，以便有效地对数据进行管理，以及指导数据表的命名。

数仓分层设计方案

一、ODS层（原始数据层，Original Data Store）

这层就像是数据的大仓库，不管是从哪儿来的数据，什么格式的，是数据库里导出来的，还是从文件里读出来的，一股脑儿全放在这儿。就好比是把外面世界各种各样的原材料都堆到一个大院子里，先不管乱不乱，反正先存起来再说。比如说从各个业务系统像销售系统、库存系统、客户管理系统里直接拉过来的数据，就原封不动地放在这儿，这个时候数据可能是各种各样的脏数据，就像刚从地里挖出来带泥的萝卜，但是没关系，这是第一步嘛。

二、DWD层（明细数据层，Detail Data Warehouse）

从ODS层拿到数据之后，就开始在这层清理数据了。把那些脏东西去掉，就像把萝卜上的泥洗干净一样。对数据进行一些简单的处理，像数据格式的统一啊，把日期格式都搞成一样的，把一些明显错误的数据给修正或者标记出来。这里的数据是按照业务主题来组织的，比如说销售相关的数据就放在一块儿，库存相关的放一块儿。这层就像是把原材料初步加工分类，让数据变得稍微整齐一点，这样后面用起来就方便多啦。

三、DWS层（轻度聚合层，Data Warehouse Summary）

到了这层，就开始做一些小的聚合操作了。就像是把洗好切好的萝卜、青菜啥的，做一些简单的搭配组合。比如按照地区统计销售总额、按照时间段统计库存的变化量。这层的数据是从DWD层的数据聚合来的，它能让我们从更宏观一点的角度去看数据，但是还没有特别汇总，还保留了一定的明细信息，就像我们做的是几个小菜的拼盘，还能看到每个菜的大概样子。

四、ADS层（应用数据层，Application Data Store）

这是最上面一层啦，这层的数据就是专门为了各种应用场景准备的。比如说给领导看的报表数据，或者是给某个特定业务部门用的数据。这层的数据就像是把前面那些加工好的菜，做成了精致的套餐，直接端到顾客（也就是使用数据的人）面前。这个数据就是根据具体的需求高度定制的，比如说领导想要看每个季度不同产品线的利润情况，那在这层就把相关的数据按照要求整理好，让领导一眼就能看到他想看的东西。

DWS-13DX-3W说明书

智能数显温湿度器、温控器XX是一款能够对同一环境的温度和湿度同时进行监测和控制的新型工业自动化仪表。仪表采用单片机数据分析控制、模拟和数字多重滤波、模块式参数设置等新技术。具有精度高、抗干扰能力强、体积小功能完备、外型美观、操作简单、安装接线方便等特点。

特别适用于需以不同参数进行调节的多点恒湿、恒温系统以及其他行业的温度、湿度测量和自动控制。请外接220V交流接触器。用户须知传感器在使用过程不能受到日晒、雨淋，周围应无明显的腐蚀性气体，否则会影响传感器的精度和使用寿命。当出现读数不正常时，可拆下传感器组件，寄回本公司校验、维修，待修复后照原位置接上即可。系统内部有硬件，可长期可靠运行，若出现异常情况可重新上电使其恢复正常，如仍不能消除异常时请与我们联系。

为了保证温湿度控制器可靠稳定运行，加热器和加湿机的总功率不要超过1000W，如果功率大于1000W，须外接220V交流接触器。关于湿度传感器的标定，湿度传感器采用国外进口的湿敏电容采集湿度信号，并通过IC转换成频率信号进入单片机进行处理。出厂前湿度探头E进行过严格标定。