解决Excel中的数据重复问题的方法

应用技术　

２００６年２月１０日第２期　坪如金融董｜ｊ薯．　

￣ＡＮＣＩＡＬ　ＣＯＭＰＵ￣Ｈ　ＯＦ　ＨＵＡＮＡＮ　

数据仓库建设中的　

数据冗余问题及其解决方法探讨　

◆　中国建设银行新疆分行赵成坤　◆　新疆大学信息学院　胡字光　

一、引言　在亚洲金融危机之后，随着巴塞尔ＩＩ新协议的　

出台，商业银行正面临着越来越严格的监管要求和　

更加激烈的市场竞争。为了提高银行竞争力，如何　

利用银行数据资产进行决策分析成为国内商业银　

行信息化建设的热点。通过对数据仓库的分析研　

究，建立全局集中的商业智能解决方案，已经成为　

各大银行对内加强经营管理、对外更好了解客户需　

求、增强盈利能力的重要手段。　

二、银行业务交叉产生数据冗余　

数据仓库是企业整体业务的抽象，它提供一个　

关于企业全局的公共视图，其中存贮稳定的历史信　

息源，该信息源对所有对象都是一致的、可用的，因　

此，建立数据仓库必须整合银行现有的众多业务系　

统的数据，以便用户必须能够基于数据仓库进行准　

确的横向、纵向分析。但在整合中经常会产生数据　

冗余问题，如在国内某商业银行一级分行全局级数　

据仓库的建设中，事件（交易）主题将整合来自该银　

行的数十个业务系统的数据，当这些不同的业务系　

统所处理的业务有交叉时就会产生重复的交易记　

录。例如：客户在ＡＴＭ机上办理缴费业务，该笔交　易将在中间业务平台系统和自助业务系统中分别　

产生一条记录，记录的内容都是该客户在ＡＴＭ自　

助渠道进行的缴费业务　也就是说，在数据仓库的　

事件（交易）主题的数据源中，同一笔交易有两条记　

录，如图１所示。　

ＡＴＭ自动系统　网上银行系统　

图１　重复数据的产生　

虽然可以通过增加“数据来源”字段区分这两　

条记录，但这样不仅浪费存储空间，而且使得基于　

数据仓库进行的企业整体的查询、聚合等应用设计　

复杂、低效且容易出错。业务的交叉使银行的数据　

ＦＥＢ．１０．２００６　ＮＯ．２　ａ

ｍ　维普资讯 坪ｊｌ７舍骷电Ｊ＝蕾Ｉ　

如何在Excel中删除重复的时间

在Excel中，我们经常会遇到需要处理大量数据的情况。而其中一种常见的问题是如何删除重复的时间。本文将向您介绍几种简单有效的方法，帮助您在Excel中快速删除重复的时间数据。

1. 使用条件格式化功能

条件格式化功能是Excel中一个强大的工具，可以帮助我们对数据进行高亮显示、标记或删除等操作。下面是使用条件格式化删除重复时间的步骤：

步骤一：选中要处理的时间数据列，点击Excel菜单中的"开始"选项卡，然后点击"条件格式化"按钮，选择"突出显示规则"，再选择"仅重复的值"选项。

步骤二：在弹出的对话框中，选择要应用格式化的区域，这里选择时间数据所在的列。然后点击"确定"按钮。

步骤三：已经重复的时间数据将被高亮显示出来，我们可以直接通过筛选功能删除重复的时间数据。

这种方法简单快捷，适用于数据量较小的情况。但是要注意，该方法只能删除重复的时间数据，不会对其他数据进行任何操作。

2. 使用Excel的高级筛选功能 高级筛选功能是Excel中处理数据的一个强大功能，可以帮助我们筛选出符合特定条件的数据，并进行操作。以下是使用高级筛选功能删除重复时间的步骤：

步骤一：将时间数据所在的列复制到一个新的区域，确保不会对原数据造成影响。

步骤二：选中复制的时间数据列，点击Excel菜单中的"数据"选项卡，然后点击"高级"按钮。

步骤三：在弹出的对话框中，选择"筛选复制到其他位置"选项，然后在"区域"选项中选择原数据所在的列。

步骤四：点击"确定"按钮后，Excel将会将去重后的数据复制到选择的位置，可以直接在原数据位置进行覆盖操作。

使用Excel的高级筛选功能删除重复时间数据可以更加灵活地处理数据，适用于数据量较大的情况。但是需要注意，该方法需要额外的操作步骤，并且会生成新的数据副本。

3. 使用Excel的Remove Duplicates功能

Excel提供了一项Remove Duplicates功能，能够帮助我们快速删除重复数据，包括时间数据。下面是使用Remove Duplicates功能删除重复时间的步骤：

EXCEL中数据排重的方法

在Excel中，数据排重指的是去除重复的数据或者记录。这是一个常见的数据清洗任务，可以通过多种方法完成。下面将介绍几种常用的数据排重方法。

1.使用“移除重复项”功能：

Excel提供了一个内置的“移除重复项”功能，可以轻松地去除重复数据。具体步骤如下：

-选中要排重的数据范围。

-在“数据”选项卡中，点击“移除重复项”按钮。

-在弹出的对话框中，选择要排重的列。

- 点击“确定”按钮，Excel将删除选定列中的重复值。

2.使用“计数”函数和“筛选”功能：

可以使用COUNTIF函数计算每个值在数据范围中的出现次数，然后使用筛选功能只显示出现次数为1的值。具体步骤如下：

-在相邻列中使用COUNTIF函数计算每个值的出现次数。

-使用筛选功能，筛选出现次数为1的值。

-将筛选结果复制粘贴到新的位置，即可得到排重后的数据。

3.使用条件格式化：

可以使用条件格式化功能来标记重复的数据，然后可以根据标记删除重复数据。具体步骤如下： -选中要排重的数据范围。

-在“开始”选项卡中，点击“条件格式”按钮，选择“突出显示规则”->“重复值”。

-在弹出的对话框中，选择要标记的方式，如高亮显示。

- Excel将根据条件格式化规则标记重复值。

-可以根据标记删除重复值，或者使用“筛选”功能来显示非重复的值。

4.使用VBA宏：

可以使用VBA宏编写自定义的排重操作。具体步骤如下：

-在左侧的项目窗格中，双击要添加宏的工作簿。

-在代码窗口中，编写VBA代码来执行排重操作。可以使用循环、数组等功能来遍历数据并删除重复项。

- 在Excel中运行宏，即可执行排重操作。

需要注意的是，以上方法都是对选定的数据范围进行排重操作。如果需要对整个工作表中的数据进行排重，需要首先选择整个工作表，然后执行相应的操作。

此外，还可以使用高级筛选、使用公式和辅助列等方法来进行数据排重。根据具体的数据情况和需求，可以选择适合的方法来完成数据排重任务。

一、问：如何选出身份证号的重复值？

答：在D列后面插入一列E列，在E3输入以下公式下拉填充

=if(countif(d:d,d3&"*")>1,"重复","唯一")

筛选E列的重复就可以了

二、问：单个工作表excel避免重复输入的设置

答：excel禁止输入重复数据，用excel公式来解释，实际就是统计不重复个数。我们以A列的姓名列来讲解excel避免重复输入的方法。

首先，我们选中A列，单击数据——数据有效性，弹出的“数据有效性”对话框中，允许下面选择“自定义”，公式输入：=COUNTIF(A:A,A1)=1，确定。

然后我们在A列如果再输入重复的姓名，比如我们再次输入“杜拉拉”，excel则提示输入值非法，这样就可以实现excel不重复输入的效果。

三、问：多个工作表excel避免重复输入的设置

答：上面第一个讲解的是针对单一工作表excel禁止输入重复数据，下面这个截图则是针对多个工作表不重复输入输入。

多个工作表D4单元格开始输入电话号码，要求电话号码长度为8，且为数字。所用的数据有效性公式为：

=AND(SUMPRODUCT(COUNTIF(INDIRECT(ROW($1:$31)&"!d:d"),D4))=1,LEN(D4)=8,COUNT(-left(D4,ROW($1:$8)))=8)

当我们输入9位，如下图所示，系统提示输入值非法错误。