频繁模式的挖掘
- 格式:doc
- 大小:904.37 KB
- 文档页数:13
分析包括频繁模式挖掘,序列模式挖掘近年来,数据挖掘技术在各行各业得到了广泛的应用,为各类企业提供了重要的决策支持。
在众多的数据挖掘技术中,频繁模式挖掘和序列模式挖掘是非常重要的应用。
本文分析了这两种数据挖掘技术的原理以及实际应用。
一、频繁模式挖掘频繁模式挖掘是数据挖掘中最重要也是最常用的技术,它通过分析数据中的特定规则,找出具有某种特定频率的项集,即能够很好地表明某些事件发生之间存在着某种关联,从而更好地理解结果。
频繁模式挖掘利用支持度(Support)和置信度(Confidence)这两个重要的概念来衡量模式的可信度。
支持度指的是一个项集在数据库中出现的次数占数据库总次数的比例,而置信度指的是某一个项集发生的条件概率。
通过不断的比对,可以找出满足最小支持度和最小置信度的频繁项集,从而发现相应的模式。
频繁模式挖掘技术主要应用于电子商务等行业中。
比如,在电子商务中,可以将客户购买的一系列商品之间的关联性作为模式进行分析,从而预测客户的需求,为其定制合适的商品组合,以提高客户的购物体验。
二、序列模式挖掘序列模式挖掘是一种特殊的数据挖掘技术,它可以从给定数据库中自动挖掘出一系列定义为“序列”的模式,也称之为“活动序列”或“时间序列”。
这种技术可以分析大量的事件信息,以发现可能存在的某种规律,这种规律可以用来预测未来的事件发生可能性。
序列模式挖掘技术通常计算序列中各个活动出现的频率,基于此可以分析不同的活动之间的相应关系,根据计算得出的相关结果,可以更好地理解未来可能发生的情况,并做出合理的业务决策。
序列模式挖掘技术在推荐系统、社交网络分析、金融分析等行业中被广泛应用。
比如,在推荐系统中,可以分析用户的点击行为,以发现用户最有可能购买某种商品的特征,做出个性化推荐;在社交网络分析中,可以分析不同网络节点之间的序列关系,从而发现社交网络中的社群结构;在金融分析中,可以对股票价格、汇率等金融数据进行分析,以发现金融市场的趋势,为决策者提供参考。
频繁模式挖掘中Apriori、FP-Growth和Eclat算法的实现和对⽐(Python实现)最近上数据挖掘的课程,其中学习到了频繁模式挖掘这⼀章,这章介绍了三种算法,Apriori、FP-Growth和Eclat算法;由于对于不同的数据来说,这三种算法的表现不同,所以我们本次就对这三种算法在不同情况下的效率进⾏对⽐。
从⽽得出适合相应算法的情况。
GitHub:(⼀)算法原理其中相应的算法原理在之前的博客中都有⾮常详细的介绍,这⾥就不再赘述,这⾥给出三种算法⼤概的介绍但是这⾥给出每个算法的关键点:1.1 Apriori算法:限制候选产⽣发现频繁项集重要性质:频繁项集所有⾮空⼦集也⼀定是频繁的。
主要步骤:1. 连接2. 剪枝特点:需要多次扫描数据库,对于⼤规模数据效率很低!1.2 FP-Growth算法通过模式增长挖掘频繁模式主要步骤:1. 构建频繁模式树2. 构造条件模式基3. 挖掘频繁模式特点:两次扫描数据库,采⽤分治的策略有效降低搜索开销1.3 Eclat算法使⽤垂直格式挖掘频繁项集主要步骤:1. 将数据倒排{ item:TID_set }2. 通过求频繁k项集的交集来获取k+1项集特点:仅需要⼀次扫描数据库,TID集合很长的话需要消耗⼤量的内存和计算时间(⼆)算法实现由于各个博客给出的算法实现并不统⼀,⽽且本⼈在实现《机器学习实战》中FP-Growth算法的时候发现,在在创建FP-Tree时根据headTable中元素的⽀持度顺序的排序过程中,这个地⽅的排序⽅法写的有问题,当在模式稠密时,具有很多⽀持度相同的项集,书中的代码并没有考虑着⼀点,所以如果遇到⽀持度相同的项集那个就会出现⼀定的随机性,导致建树过程出错,最后的频繁项集结果会偏⼩,因此这⾥对改错误进⾏了纠正,在⽀持度相同时,添加了按照项集排序的规则,这样建⽴的FP-Tree才完全正确。
1.1 Apriori算法实现:1# -*- coding: utf-8 -*-2'''3@author: Infaraway4@time: 2017/4/15 12:545@Function:6'''789def init_c1(data_set_dict, min_support):10 c1 = []11 freq_dic = {}12for trans in data_set_dict:13for item in trans:14 freq_dic[item] = freq_dic.get(item, 0) + data_set_dict[trans]15# 优化初始的集合,使不满⾜最⼩⽀持度的直接排除16 c1 = [[k] for (k, v) in freq_dic.iteritems() if v >= min_support]17 c1.sort()18return map(frozenset, c1)192021def scan_data(data_set, ck, min_support, freq_items):22"""23计算Ck中的项在数据集合中的⽀持度,剪枝过程24 :param data_set:25 :param ck:26 :param min_support: 最⼩⽀持度27 :param freq_items: 存储满⾜⽀持度的频繁项集28 :return:29"""30 ss_cnt = {}31# 每次遍历全体数据集32for trans in data_set:33for item in ck:34# 对每⼀个候选项集,检查是否是 term中的⼀部分(⼦集),即候选项能否得到⽀持35if item.issubset(trans):36 ss_cnt[item] = ss_cnt.get(item, 0) + 137 ret_list = []38for key in ss_cnt:39 support = ss_cnt[key] # 每个项的⽀持度40if support >= min_support:41 ret_list.insert(0, key) # 将满⾜最⼩⽀持度的项存⼊集合42 freq_items[key] = support #43return ret_list444546def apriori_gen(lk, k):47"""48由Lk的频繁项集⽣成新的候选项集连接过程49 :param lk: 频繁项集集合50 :param k: k 表⽰集合中所含的元素个数51 :return: 候选项集集合52"""53 ret_list = []54for i in range(len(lk)):55for j in range(i+1, len(lk)):56 l1 = list(lk[i])[:k-2]57 l2 = list(lk[j])[:k-2]58 l1.sort()59 l2.sort()60if l1 == l2:61 ret_list.append(lk[i] | lk[j]) # 求并集62# retList.sort()63return ret_list646566def apriori_zc(data_set, data_set_dict, min_support=5):67"""68 Apriori算法过程69 :param data_set: 数据集70 :param min_support: 最⼩⽀持度,默认值 0.571 :return:72"""73 c1 = init_c1(data_set_dict, min_support)74 data = map(set, data_set) # 将dataSet集合化,以满⾜scanD的格式要求75 freq_items = {}76 l1 = scan_data(data, c1, min_support, freq_items) # 构建初始的频繁项集77 l = [l1]78# 最初的L1中的每个项集含有⼀个元素,新⽣成的项集应该含有2个元素,所以 k=279 k = 280while len(l[k - 2]) > 0:81 ck = apriori_gen(l[k - 2], k)82 lk = scan_data(data, ck, min_support, freq_items)83 l.append(lk)84 k += 1 # 新⽣成的项集中的元素个数应不断增加85return freq_itemsView Code1.2 FP-Growth算法实现:1)FP_Growth⽂件:在create_tree()函数中修改《机器学习实战》中的代码:############################################################################################## # 这⾥修改机器学习实战中的排序代码:ordered_items = [v[0] for v in sorted(local_data.items(), key=lambda kv: (-kv[1], kv[0]))]##############################################################################################1# -*- coding: utf-8 -*-2"""3@author: Infaraway4@time: 2017/4/15 16:075@Function:6"""7from DataMining.Unit6_FrequentPattern.FP_Growth.TreeNode import treeNode8910def create_tree(data_set, min_support=1):11"""12创建FP树13 :param data_set: 数据集14 :param min_support: 最⼩⽀持度15 :return:16"""17 freq_items = {} # 频繁项集18for trans in data_set: # 第⼀次遍历数据集19for item in trans:20 freq_items[item] = freq_items.get(item, 0) + data_set[trans]2122 header_table = {k: v for (k, v) in freq_items.iteritems() if v >= min_support} # 创建头指针表23# for key in header_table:24# print key, header_table[key]2526# ⽆频繁项集27if len(header_table) == 0:28return None, None29for k in header_table:30 header_table[k] = [header_table[k], None] # 添加头指针表指向树中的数据31# 创建树过程32 ret_tree = treeNode('Null Set', 1, None) # 根节点3334# 第⼆次遍历数据集35for trans, count in data_set.items():36 local_data = {}37for item in trans:38if header_table.get(item, 0):39 local_data[item] = header_table[item][0]40if len(local_data) > 0:41############################################################################################## 42# 这⾥修改机器学习实战中的排序代码:43 ordered_items = [v[0] for v in sorted(local_data.items(), key=lambda kv: (-kv[1], kv[0]))]44############################################################################################## 45 update_tree(ordered_items, ret_tree, header_table, count) # populate tree with ordered freq itemset46return ret_tree, header_table474849def update_tree(items, in_tree, header_table, count):50'''51 :param items: 元素项52 :param in_tree: 检查当前节点53 :param header_table:54 :param count:55 :return:56'''57if items[0] in in_tree.children: # check if ordered_items[0] in ret_tree.children58 in_tree.children[items[0]].increase(count) # incrament count59else: # add items[0] to in_tree.children60 in_tree.children[items[0]] = treeNode(items[0], count, in_tree)61if header_table[items[0]][1] is None: # update header table62 header_table[items[0]][1] = in_tree.children[items[0]]63else:64 update_header(header_table[items[0]][1], in_tree.children[items[0]])65if len(items) > 1: # call update_tree() with remaining ordered items66 update_tree(items[1::], in_tree.children[items[0]], header_table, count)676869def update_header(node_test, target_node):70'''71 :param node_test:72 :param target_node:73 :return:74'''75while node_test.node_link is not None: # Do not use recursion to traverse a linked list!76 node_test = node_test.node_link77 node_test.node_link = target_node787980def ascend_tree(leaf_node, pre_fix_path):81'''82遍历⽗节点,找到路径83 :param leaf_node:84 :param pre_fix_path:85 :return:86'''87if leaf_node.parent is not None:88 pre_fix_path.append(leaf_)89 ascend_tree(leaf_node.parent, pre_fix_path)909192def find_pre_fix_path(base_pat, tree_node):93'''94创建前缀路径95 :param base_pat: 频繁项96 :param treeNode: FP树中对应的第⼀个节点97 :return:98'''99# 条件模式基100 cond_pats = {}101while tree_node is not None:102 pre_fix_path = []103 ascend_tree(tree_node, pre_fix_path)104if len(pre_fix_path) > 1:105 cond_pats[frozenset(pre_fix_path[1:])] = tree_node.count106 tree_node = tree_node.node_link107return cond_pats108109110def mine_tree(in_tree, header_table, min_support, pre_fix, freq_items):111'''112挖掘频繁项集113 :param in_tree:114 :param header_table:115 :param min_support:116 :param pre_fix:117 :param freq_items:118 :return:119'''120# 从⼩到⼤排列table中的元素,为遍历寻找频繁集合使⽤121 bigL = [v[0] for v in sorted(header_table.items(), key=lambda p: p[1])] # (sort header table) 122for base_pat in bigL: # start from bottom of header table123 new_freq_set = pre_fix.copy()124 new_freq_set.add(base_pat)125# print 'finalFrequent Item: ',new_freq_set #append to set126if len(new_freq_set) > 0:127 freq_items[frozenset(new_freq_set)] = header_table[base_pat][0]128 cond_patt_bases = find_pre_fix_path(base_pat, header_table[base_pat][1])129 my_cond_tree, my_head = create_tree(cond_patt_bases, min_support)130# print 'head from conditional tree: ', my_head131if my_head is not None: # 3. mine cond. FP-tree132# print 'conditional tree for: ',new_freq_set133# my_cond_tree.disp(1)134 mine_tree(my_cond_tree, my_head, min_support, new_freq_set, freq_items)135136137def fp_growth(data_set, min_support=1):138 my_fp_tree, my_header_tab = create_tree(data_set, min_support)139# my_fp_tree.disp()140 freq_items = {}141 mine_tree(my_fp_tree, my_header_tab, min_support, set([]), freq_items)142return freq_itemsView Code2)treeNode对象⽂件1# -*- coding: utf-8 -*-2'''3@author: Infaraway4@time: 2017/3/31 0:145@Function:6'''789class treeNode:10def__init__(self, name_value, num_occur, parent_node):11 = name_value # 节点元素名称12 self.count = num_occur # 出现的次数13 self.node_link = None # 指向下⼀个相似节点的指针,默认为None14 self.parent = parent_node # 指向⽗节点的指针15 self.children = {} # 指向孩⼦节点的字典⼦节点的元素名称为键,指向⼦节点的指针为值1617def increase(self, num_occur):18"""19增加节点的出现次数20 :param num_occur: 增加数量21 :return:22"""23 self.count += num_occur2425def disp(self, ind=1):26print'' * ind, , '', self.count27for child in self.children.values():28 child.disp(ind + 1)View Code1.3 Eclat算法实现1# -*- coding: utf-8 -*-2"""3@author: Infaraway4@time: 2017/4/15 19:335@Function:6"""78import sys9import time10 type = sys.getfilesystemencoding()111213def eclat(prefix, items, min_support, freq_items):14while items:15# 初始遍历单个的元素是否是频繁16 key, item = items.pop()17 key_support = len(item)18if key_support >= min_support:19# print frozenset(sorted(prefix+[key]))20 freq_items[frozenset(sorted(prefix+[key]))] = key_support21 suffix = [] # 存储当前长度的项集22for other_key, other_item in items:23 new_item = item & other_item # 求和其他集合求交集24if len(new_item) >= min_support:25 suffix.append((other_key, new_item))26 eclat(prefix+[key], sorted(suffix, key=lambda item: len(item[1]), reverse=True), min_support, freq_items)27return freq_items282930def eclat_zc(data_set, min_support=1):31"""32 Eclat⽅法33 :param data_set:34 :param min_support:35 :return:36"""37# 将数据倒排38 data = {}39 trans_num = 040for trans in data_set:41 trans_num += 142for item in trans:43if item not in data:44 data[item] = set()45 data[item].add(trans_num)46 freq_items = {}47 freq_items = eclat([], sorted(data.items(), key=lambda item: len(item[1]), reverse=True), min_support, freq_items)48return freq_itemsView Code(三)试验阶段:这样我们就统⼀了三种算法的调⽤以及返回值,现在我们可以开始试验阶段了,我们在试验阶段分别根据最⼩⽀持度阈值和数据规模的变化来判断这三种算法的效率:⾸先我们先统⼀调⽤者三个算法:1def test_fp_growth(minSup, dataSetDict, dataSet):2 freqItems = fp_growth(dataSetDict, minSup)3 freqItems = sorted(freqItems.iteritems(), key=lambda item: item[1])4return freqItems567def test_apriori(minSup, dataSetDict, dataSet):8 freqItems = apriori_zc(dataSet, dataSetDict, minSup)9 freqItems = sorted(freqItems.iteritems(), key=lambda item: item[1])10return freqItems111213def test_eclat(minSup, dataSetDict, dataSet):14 freqItems = eclat_zc(dataSet, minSup)15 freqItems = sorted(freqItems.iteritems(), key=lambda item: item[1])16return freqItems然后实现数据规模变化的效率改变1def do_experiment_min_support():23 data_name = 'unixData8_pro.txt'4 x_name = "Min_Support"5 data_num = 15006 minSup = data_num / 678 dataSetDict, dataSet = loadDblpData(open("dataSet/" + data_name), ',', data_num)9 step = minSup / 5 # #################################################################10 all_time = []11 x_value = []12for k in range(5):1314 x_value.append(minSup) # ################################################################# 15if minSup < 0: # #################################################################16break17 time_fp = 018 time_et = 019 time_ap = 020 freqItems_fp = {}21 freqItems_eclat = {}22 freqItems_ap = {}23for i in range(10):24 ticks0 = time.time()25 freqItems_fp = test_fp_growth(minSup, dataSetDict, dataSet)26 time_fp += time.time() - ticks027 ticks0 = time.time()28 freqItems_eclat = test_eclat(minSup, dataSetDict, dataSet)29 time_et += time.time() - ticks030 ticks0 = time.time()31 freqItems_ap = test_apriori(minSup, dataSetDict, dataSet)32 time_ap += time.time() - ticks033print"minSup :", minSup, " data_num :", data_num, \34" freqItems_fp:", len(freqItems_fp), " freqItems_eclat:", len(freqItems_eclat), " freqItems_ap:", len(35 freqItems_ap)36print"fp_growth:", time_fp / 10, " eclat:", time_et / 10, " apriori:", time_ap / 1037# print_freqItems("show", freqItems_eclat)38 minSup -= step # #################################################################39 use_time = [time_fp / 10, time_et / 10, time_ap / 10]40 all_time.append(use_time)41# print use_time42 y_value = []43for i in range(len(all_time[0])):44 tmp = []45for j in range(len(all_time)):46 tmp.append(all_time[j][i])47 y_value.append(tmp)48 plot_pic(x_value, y_value, data_name, x_name)49return x_value, y_valueView Code然后实现最⼩⽀持度变化的效率改变1def do_experiment_data_size():23 data_name = 'kosarakt.txt'4 x_name = "Data_Size"5 data_num = 20000067 step = data_num / 5 # #################################################################8 all_time = []9 x_value = []10for k in range(5):11 minSup = data_num * 0.01012 dataSetDict, dataSet = loadDblpData(open("dataSet/"+data_name), '', data_num)13 x_value.append(data_num) # #################################################################14if data_num < 0: # #################################################################15break16 time_fp = 017 time_et = 018 time_ap = 019 freqItems_fp = {}20 freqItems_eclat = {}21 freqItems_ap = {}22for i in range(2):23 ticks0 = time.time()24 freqItems_fp = test_fp_growth(minSup, dataSetDict, dataSet)25 time_fp += time.time() - ticks026 ticks0 = time.time()27 freqItems_eclat = test_eclat(minSup, dataSetDict, dataSet)28 time_et += time.time() - ticks029 ticks0 = time.time()30# freqItems_ap = test_apriori(minSup, dataSetDict, dataSet)31# time_ap += time.time() - ticks032print"minSup :", minSup, " data_num :", data_num, \33" freqItems_fp:", len(freqItems_fp), " freqItems_eclat:", len(freqItems_eclat), " freqItems_ap:", len(freqItems_ap) 34print"fp_growth:", time_fp / 10, " eclat:", time_et / 10, " apriori:", time_ap / 1035# print_freqItems("show", freqItems_eclat)36 data_num -= step # #################################################################37 use_time = [time_fp / 10, time_et / 10, time_ap / 10]38 all_time.append(use_time)39# print use_time4041 y_value = []42for i in range(len(all_time[0])):43 tmp = []44for j in range(len(all_time)):45 tmp.append(all_time[j][i])46 y_value.append(tmp)47 plot_pic(x_value, y_value, data_name, x_name)48return x_value, y_valueView Code同时为了观察⽅便,我们需要对三种算法返回的结果进⾏绘图1# -*- coding: utf-8 -*-2"""3@author: Infaraway4@time: 2017/4/16 20:485@Function:6"""78import matplotlib.pyplot as plt91011def plot_pic(x_value, y_value, title, x_name):12 plot1 = plt.plot(x_value, y_value[0], 'r', label='Kulc') # use pylab to plot x and y13 plot2 = plt.plot(x_value, y_value[1], 'g', label='IR') # use pylab to plot x and y14# plot3 = plt.plot(x_value, y_value[2], 'b', label='Apriori') # use pylab to plot x and y15 plt.title(title) # give plot a title16 plt.xlabel(x_name) # make axis labels17 plt.ylabel('value ')18 plt.legend(loc='upper right') # make legend1920 plt.show() # show the plot on the screenView Code将两个部分统⼀执⾏:1if__name__ == '__main__':23# x_value, y_value = do_experiment_min_support()4# x_value, y_value = do_experiment_data_size()5# do_test()(四)实验结果分析:本次实验我们主要从以下⼏个⽅⾯来讨论三种算法的效率:数据规模⼤⼩最⼩⽀持度阈值长事物数据模式的稠密性4.1 数据规模⼤⼩:数据集:unxiData8规模:900-1500Min_support = 1/30时 Min_support = 1/20时数据集:kosarakt规模:6000-10000Min_support = 1/50 Min_support = 1/80 Min_support = 1/100结论:⼀般情况下,数据规模越⼤,使⽤Apriori算法的效率越低,因为该算法需要多次扫描数据库,当数据量越⼤时,扫描数据库带来的消耗越多。
数据挖掘中的频繁模式发现数据挖掘是一种从大量数据中发现并提取有价值信息的过程。
频繁模式发现是数据挖掘领域中的一项重要任务,它帮助我们发现数据中经常出现的模式或关联规则,从而为决策和预测提供有力支持。
本文将介绍数据挖掘中频繁模式发现的基本概念、常用方法和实际应用。
一、频繁模式发现的概念在数据挖掘中,频繁模式指的是在数据集中经常出现的模式或子集。
这些模式可以是项集、序列或子图等形式。
频繁模式发现任务的目标是寻找在数据集中出现频率高于预设阈值的模式。
二、频繁模式发现的常用方法1. Apriori算法Apriori算法是频繁模式发现中最经典的方法之一。
该算法基于一种称为Apriori原则的性质,即如果一个模式是频繁的,那么它的所有子集也必须是频繁的。
Apriori算法通过迭代地生成候选项集,并在每一次迭代中利用Apriori原则剪枝,从而减少模式发现的搜索空间,提高算法的效率。
2. FP-Growth算法FP-Growth算法是另一种常用的频繁模式发现方法。
该算法通过构建一种称为FP树的数据结构来表示数据集,然后利用树的结构和属性,高效地挖掘频繁模式。
与Apriori算法相比,FP-Growth算法不需要生成候选项集,因此在一些情况下可以提供更好的性能。
三、频繁模式发现的应用频繁模式发现在各个领域都有广泛的应用。
以下是几个例子:1. 超市销售分析超市拥有大量的交易数据,通过频繁模式发现可以找到经常同时被购买的商品,从而帮助超市制定促销策略、调整商品陈列和优化供应链。
2. 社交网络分析在社交网络中,频繁模式发现可以用于发现用户之间的关联规则,例如朋友推荐、用户相似性分析和社群发现。
3. 生物信息学频繁模式发现可以在基因表达数据中发现共同出现的基因模式,从而帮助生物学家理解基因的功能和相互作用。
4. Web点击分析通过分析用户的点击行为,可以发现用户经常访问的网页或点击的广告,从而改进网站的推荐系统和广告投放策略。
fp树挖掘频繁项集例题频繁模式树(FP-Tree)是一种用于挖掘频繁项集的数据结构和算法。
它通过构建一棵树来表示事务数据库中的频繁项集,并利用树的结构和特性来高效地挖掘频繁项集。
下面我将通过一个例题来说明如何使用FP-Tree进行频繁项集的挖掘。
假设我们有以下事务数据库:事务1,{A, B, C, D}。
事务2,{B, C, E}。
事务3,{A, B, C, E}。
事务4,{B, D, E}。
事务5,{A, B, C, D, E}。
我们的目标是找出支持度不低于阈值的频繁项集。
在这个例子中,我们设定阈值为2,即支持度至少为2。
首先,我们需要进行两个步骤,构建频繁项集的项头表和构建FP-Tree。
1. 构建项头表:首先扫描数据库,统计每个项的支持度计数。
然后根据支持度计数筛选出满足阈值的频繁项,并按照支持度降序排序。
在这个例子中,我们得到的频繁项集为,{B, A, C, D, E}。
2. 构建FP-Tree:从数据库中的每个事务开始,按照频繁项集的顺序构建FP-Tree。
对于每个事务,我们按照频繁项集的顺序遍历,如果项在事务中存在,则将其插入到FP-Tree中的适当位置。
如果该项已经存在于FP-Tree中的某个节点上,则增加该节点的支持度计数。
如果该项不存在于FP-Tree中,则创建一个新的节点,并设置其支持度计数为1。
根据以上步骤,我们可以得到如下的FP-Tree:null.|。
B./ | \。
A C D.| |。
E E.接下来,我们可以利用构建好的FP-Tree来挖掘频繁项集。
3. 挖掘频繁项集:首先,我们以项头表中的频繁项为基础,依次从后往前挖掘频繁项集。
对于每个频繁项,我们找到其对应的条件模式基,即以该频繁项为结尾的路径集合。
然后,利用条件模式基构建新的条件FP-Tree,并递归地重复上述步骤,直到无法再构建新的条件FP-Tree为止。
在这个例子中,我们以{E}为基础进行挖掘。
首先找到所有以{E}结尾的路径集合,即{B, C, E}和{B, D, E}。
频繁模式挖掘算法研究的开题报告一、研究背景和意义随着互联网和物联网的发展,数据量呈爆炸式增长,如何从这些庞大的数据集中获取有价值的信息成为一个重要问题。
频繁模式挖掘算法是数据挖掘领域的一个热门研究方向。
频繁模式是指在数据集中经常出现的模式,挖掘频繁模式能够找到数据集中的规律和隐藏关系,为实现数据的智能分析和预测提供了重要的基础。
频繁模式挖掘算法已经被广泛应用于商业、金融、医疗、教育等领域,具有很高的实用价值和研究意义。
二、研究客观频繁模式挖掘算法本质上是为了在数据挖掘中提高算法效率和结果准确性。
已有的频繁模式挖掘算法有FP-growth、Apriori等,但是这些算法在处理大规模数据集时存在效率问题。
因此,研究更高效、更准确的频繁模式挖掘算法成为当前的热点和难点问题。
三、研究计划和方法1.调研、分析和总结当前主流的频繁模式挖掘算法,并对这些算法进行评价。
2.研究最新的频繁模式挖掘算法研究进展,对算法中存在的问题进行深入分析并提出改进措施。
3.设计并实现新的频繁模式挖掘算法,验证算法的有效性和可行性。
4.利用实验验证新算法与已有算法的比较,选择合适的算法进行实际应用。
四、研究预期结果本研究旨在设计和实现更高效、更准确的频繁模式挖掘算法,提高频繁模式挖掘的效率和准确性。
研究本身具有探究性和实用性,对数据挖掘领域的发展和应用都有积极的推动作用。
预期结果是:(1)制定出更有效的频繁模式挖掘算法;(2)提高频繁模式挖掘的效率和准确性;(3)对频繁模式挖掘算法的研究提供新思路和方法。
fp树算法
FP树算法(Frequent Pattern Tree)是一种用于挖掘频繁模式的数据挖掘算法,常用于关联规则挖掘。
它通过构建FP树来表示事务数据库中的频繁模式,并利用树的结构来高效地发现频繁模式。
FP树算法的主要步骤如下:
构建频繁1项集:扫描事务数据库,统计每个单个项的出现频率,并筛选出满足最小支持度阈值的频繁1项集。
构建FP树:第一次扫描事务数据库,按照事务中项的频繁程度对项进行排序。
然后,按顺序将每个事务插入FP树中。
如果树中已经存在相同的路径,则增加对应节点的计数。
如果路径不存在,则创建新的分支。
构建条件模式基:从FP树的叶子节点开始,自底向上逐步生成每个频繁项的条件模式基。
条件模式基是指以当前节点为结尾的前缀路径。
递归挖掘FP树:对于每个频繁项,利用条件模式基构建条件FP 树。
然后,递归地应用FP树算法,以发现频繁模式。
这个过程会重复多次,直到无法再构建新的条件FP树为止。
输出频繁模式:将发现的频繁模式输出为结果,满足最小支持度阈值的项集即为频繁模式。
通过FP树算法,可以高效地发现频繁模式,而无需生成所有的候选项集。
这种算法的效率较高,适用于大规模数据集的关联规则挖掘。
频繁模式挖掘技术在时序数据分析中的应用时序数据是在不同时间点上收集到的数据信息,它的特点是具有时间关联性和顺序性。
在许多领域,如金融、交通、医疗等,时序数据的分析对于预测趋势、异常检测以及决策制定具有重要意义。
频繁模式挖掘技术是一种有效的方法,可以从时序数据中发现重复出现的模式,帮助我们理解数据的内在规律以及进行有意义的分析。
频繁模式挖掘技术是一种基于统计的数据挖掘方法,旨在发现数据集中频繁出现的模式。
在时序数据分析中,频繁模式挖掘技术可以用于发现重复出现的时间序列模式,通过对模式的分析,我们可以了解数据的周期性、趋势和规律。
首先,频繁模式挖掘技术可以帮助我们发现时序数据中的周期性模式。
周期性模式是指在一定时间跨度内,数据重复出现相似的模式。
例如,在股市数据中,我们可能会发现每个星期五的股价变化模式相似,或者在每年的节假日期间,销售数据呈现周期性的波动。
通过频繁模式挖掘技术,我们可以自动发现这些周期性模式,帮助我们预测未来的走势,合理决策。
其次,频繁模式挖掘技术还可以发现时序数据中的趋势模式。
趋势模式是指数据在某个时间段内呈现增长或减少的规律。
例如,在气象数据中,我们可能会发现温度在夏季逐渐升高,在冬季逐渐降低。
通过频繁模式挖掘技术,我们可以自动发现这些趋势模式,帮助我们理解数据的变化规律,做出相应的决策。
另外,频繁模式挖掘技术还可以用于时序数据中的异常检测。
异常检测是指发现与正常模式不符的数据点或时间序列。
在许多领域,如网络安全、信用卡欺诈检测等,异常检测是非常关键的。
通过频繁模式挖掘技术,我们可以识别出与正常模式不符的频繁模式,从而帮助我们及时发现潜在的异常情况,采取相应的措施。
频繁模式挖掘技术在时序数据分析中的应用已经得到了广泛的应用。
以下是一些具体的应用案例:1. 股票市场预测在股票市场中,频繁模式挖掘技术可以用于预测股价的走势。
通过分析历史数据中的频繁模式,我们可以发现股价的周期性和趋势性规律,从而预测未来的股价变化。
数据挖掘中频繁模式挖掘算法研究进展随着互联网的快速发展以及大量数据的产生,数据挖掘逐渐成为一项重要的技术。
而频繁模式挖掘作为数据挖掘的关键任务之一,广泛应用于市场分析、网络推荐、生物信息学等领域。
本文将就数据挖掘中频繁模式挖掘算法的研究进展进行探讨。
频繁模式挖掘是一种发现数据集合中频繁出现的模式和相互关联的方法。
其作用是挖掘出在给定数据集中频繁出现的项集或序列,进而为后续的数据分析提供支持。
频繁模式挖掘算法的研究主要包括Apriori算法、FP-growth算法和Eclat算法等。
Apriori算法是最早被提出的频繁模式挖掘算法之一,它基于频繁项集的先验知识,通过逐级搜索来挖掘频繁模式。
Apriori算法的主要思想是利用Apriori原理:如果一个模式是频繁的,那么它的所有子集也是频繁的。
Apriori算法将数据集划分为多个大小为1的频繁项集,然后通过迭代扩展这些频繁项集,以获得包含更多项的更频繁项集。
然而,Apriori算法的缺点是存在大量的候选集生成和多次的数据库扫描,时间和空间复杂度较高。
为解决Apriori算法存在的问题,FP-growth算法被提出。
FP-growth算法使用一种称为FP树的数据结构来存储数据集,并通过构建树来挖掘频繁模式。
FP-growth算法不需要生成候选集,从而减少了搜索空间。
它通过构建FP树和对树进行频繁项集挖掘来发现频繁模式。
FP-growth算法的优势在于可以在一次数据扫描中完成频繁模式挖掘,大大提高了算法的效率。
与FP-growth算法类似的Eclat算法也是一种基于垂直数据表示的频繁模式挖掘算法。
Eclat算法使用一个称为闭集合的数据结构来表示频繁项集,并通过递归方式挖掘频繁模式。
Eclat算法的特点是无需生成候选集和扫描数据库,可以高效地挖掘频繁模式。
除了传统的频繁模式挖掘算法,还有一些基于增量挖掘、分布式计算和图结构等技术的新算法被提出。
增量挖掘算法通过利用已有的频繁模式挖掘结果来进行增量计算,从而提高了算法的效率。
数据挖掘中频繁模式挖掘算法研究随着互联网与计算机技术的飞速发展,数以亿计的数据通过互联网被收集,并且随着5G网络的普及和物联网的兴起,这个数字还在不断增长。
如何在这些海量数据中挖掘出有用的信息,成为了一个值得研究的问题。
其中,频繁模式挖掘算法是解决这个问题的一种重要方法。
一、频繁模式挖掘算法的定义频繁模式挖掘算法是指从数据集中挖掘出经常出现的模式的一种算法。
所谓模式,可以理解为在数据集中反复出现的项集或者序列,这些模式可以帮助我们更好地理解数据中的信息。
而且,这些模式也可以给我们提供有价值的启示和参考,例如在购物方面,我们可以根据这些模式推荐其他商品来满足消费者的需求。
二、频繁模式挖掘算法的基本思想频繁模式挖掘算法的基本思想是通过筛选出在数据集中出现频率高于阈值的模式来挖掘出数据集的信息。
其中,阈值是由用户预先设定的,用来限制所挖掘出的模式的数量和质量。
在进行频繁模式挖掘算法时,一般需要完成以下两个步骤:1. 频繁项集的挖掘在这一步骤中,需要首先确定一个阈值,然后挖掘出所有出现次数不小于这个阈值的项集(itemset)。
其实,这一步骤就是找出数据集中出现频率较高的项目。
这些项目可以是指代物品的名称、人员、事件等。
2. 频繁模式的挖掘在获得频繁项集之后,下一步就是进一步挖掘关联关系,即只包含特定项集的顺序序列。
这些顺序序列可以是指代交易的顺序、事件的顺序等。
在这一步骤中,我们需要设计一些规则来筛选出符合预期的结果。
三、常用的频繁模式挖掘算法1. Apriori算法作为一种可以有效地挖掘频繁模式的算法,Apriori算法常常被用来与其他算法进行对比。
该算法的基本思想是利用先验要求来减少候选模式的数量,从而加快算法的执行速度。
例如,在搜索“ABCD”频繁模式的时候,如果“BCD”不是频繁模式,那么以它为先导的“ABCD”模式也肯定不是频繁模式。
2. FP-Growth算法与Apriori算法相比,FP-Growth算法可以用较短的时间挖掘出更多的频繁模式,因此在实践中得到了广泛应用。
数据挖掘中频繁模式挖掘算法的使用教程数据挖掘是一种从大量数据中自动发现模式并提取有用信息的过程。
频繁模式挖掘算法是数据挖掘中常用的一种算法,它帮助我们发现数据集中出现频繁的项集或序列,从而揭示数据中潜在的关联性。
本文将介绍一些常用的频繁模式挖掘算法,并详细讨论它们的工作原理和使用方法。
1. Apriori算法Apriori算法是一种经典的频繁模式挖掘算法。
它基于一种称为“先验性质”的思想,通过迭代扫描数据集来发现频繁项集。
具体步骤如下:- 初始化频繁一项集集合,即单个项的集合;- 生成候选项集,并计算其支持度,筛选出频繁项集;- 基于频繁项集生成新的候选项集,重复上述步骤,直到无法继续生成新的候选项集。
Apriori算法的优点是简单易懂,但对大规模数据集的性能较差。
对于大型数据集,效率改进的Apriori改进算法,如FP-Growth算法,可以更快地挖掘频繁项集。
2. FP-Growth算法FP-Growth算法是一种基于频繁模式挖掘的高效算法。
与Apriori算法相比,FP-Growth算法通过构建FP树来表示数据集,避免了多次扫描数据集的开销,从而提升了性能。
具体步骤如下:- 构建FP树,同时记录每个项的频率;- 根据FP树构建条件模式基;- 递归地从条件模式基中构建FP树,并挖掘频繁项集。
FP-Growth算法的优点是在大规模数据集上具有较高的挖掘效率,但它需要占用较大的内存空间。
3. Eclat算法Eclat算法是一种基于集合的频繁模式挖掘算法。
它通过垂直数据格式表示数据集,并使用位图位级运算来计算频繁项集。
具体步骤如下:- 根据事务数据生成垂直数据格式;- 递归地计算出现频繁的项的集合;- 计算交集,生成更长的频繁项集。
Eclat算法的优点是在较小的数据集上表现良好,并且不需要占用大量的内存空间,但它在处理大规模数据集时性能较差。
4. PrefixSpan算法PrefixSpan算法是一种基于序列的频繁模式挖掘算法。
数据分析知识:数据挖掘中的频繁模式挖掘数据挖掘中的频繁模式挖掘数据挖掘是一个复杂的过程,需要从庞大的数据集中提取出有价值的信息,这些信息可以用于业务分析、决策支持、市场营销等方面。
而频繁模式挖掘,就是在大量数据中寻找频繁出现的组合,从而发现数据集中的一些结构、规律和特征,帮助人们更好地理解数据,作出可靠的决策。
本文将介绍频繁模式挖掘的概念、算法和应用,并探讨其在实践中的优势和不足之处。
一、频繁模式挖掘的概念频繁模式挖掘是数据挖掘中的一种技术,它通过数据集中的项集来寻找频繁出现的组合,从而发现数据集中的一些规律、结构和特征。
在频繁模式挖掘中,一个项集是指包含若干个属性(或特征)的集合,而频繁项集指在数据集中出现频率较高的项集。
举个例子,某超市的销售数据表格中,每一行代表一次购物,每一列代表某种商品,如果某些商品常常同时被购买,那么这些商品就组成了一个频繁项集。
对于频繁项集的挖掘,可以应用一些经典的算法,如Apriori算法、FP-growth算法等。
这些算法可以从数据集中提取出频繁项集,并进行支持度和置信度的计算,从而评估每个项集的重要性和关联性。
而支持度指项集在数据集中出现的概率,而置信度则是指在包含某项集的条件下,另一个项集出现的概率。
二、频繁模式挖掘的算法1、Apriori算法Apriori算法是频繁项集挖掘领域中的经典算法,它最早由R. Agrawal和R. Srikant于1994年提出。
该算法是基于Apriori原理的,即如果一个项集是频繁的,那么它的所有子集必须也是频繁的。
具体而言,Apriori算法的流程包括:(1)对数据集中的单个项进行扫描,统计每个项的出现次数,得到一个项集L1;(2)对于项集L1中的每一项,计算其支持度,只保留支持度大于等于设定阈值minsup的项,得到一个新的项集L2;(3)对于项集L2中的每两个项,判断它们是否能够组合成一个新的项集,如果满足条件,则进行计数,并得到一个新的项集L3;(4)重复第二步和第三步,直到无法生成新的项集为止。
数据挖掘频繁模式关联规则
1. 什么是数据挖掘
数据挖掘是指从大量数据中提取出关于企业、市场、客户、社会
等方面的有用信息并进行分析的过程。
此过程通常包括数据清洗、特
征选择、数据转换、数据挖掘以及模型评估等环节。
2. 频繁模式
频繁模式是指在数据集合中出现频率较高的一组数据。
通过频繁
模式的挖掘,我们可以看出哪些数据之间有着紧密的关联,为分析提
供了有力支持。
3. 关联规则
关联规则是在频繁项集的基础上,选择两个或更多项目之间的关
联关系。
反应的是不同商品间的关系,在规则的形式化中,使用的是“如果 A 那么B”的表达方式,其中 A 和 B 均为商品或事物。
4. 频繁模式和关联规则在商业上的应用
频繁模式和关联规则的应用十分的广泛。
其中,商业领域是十分
重要的一个方面,如超市销售数据的挖掘、网站行为数据的分析等等。
在销售数据挖掘中,超市可以通过对不同商品的销售进行挖掘,发现
不同商品之间的关联度,有助于促进不同商品之间的协同销售,从而
增加销售收益。
5. 频繁模式和关联规则在社会领域的应用
在社会领域,频繁模式和关联规则也具有很高的应用价值。
比如,通过舆情分析和数据挖掘,可以挖掘出不同的舆情数据,从而及时掌
握人民群众的意见和想法。
总之,频繁模式和关联规则的应用可以更好地发掘数据的信息价值,对于实现精细化管理和预测分析等方面都将有着重要的作用。
数据挖掘中的频繁模式挖掘算法随着互联网和物联网的发展,我们的生活中产生了大量的数据。
如何在这些数据中挖掘出有用的信息,是一个重要的研究领域。
频繁模式挖掘算法是数据挖掘中的一个重要分支,它可以从大量的数据中找到经常同时出现的模式。
在本文中,我们将介绍频繁模式挖掘算法的基本原理和常见的实现方法。
一、什么是频繁模式挖掘算法频繁模式挖掘算法是一种数据挖掘算法,它可以从大量的数据中发现经常同时出现的模式。
比如,在一组购物记录中,如果很多人同时购买了牛奶和面包,那么“牛奶”和“面包”就是一个频繁模式。
频繁模式挖掘算法可以在大量的数据中自动发现这样的频繁模式,从而提供有用的信息。
二、频繁模式挖掘算法的基本原理频繁模式挖掘算法的基本原理是:从大量的数据中找出经常同时出现的模式。
具体来说,它分为两个步骤:第一步是生成候选项集。
候选项集是指可能成为频繁项集的集合。
比如,在一组购物记录中,所有购买过的商品都可以作为候选项集。
生成候选项集的方法有很多种,比较常见的有Apriori算法、FP-growth算法等。
第二步是计算支持度。
支持度是指在所有的记录中,一个项集出现的次数。
比如,在一组购物记录中,如果“牛奶”和“面包”同时出现了100次,而总共有1000条记录,那么它的支持度就是10%。
支持度越大,说明这个项集越常出现,也就越有可能成为频繁项集。
计算支持度的方法有很多种,比较常见的有Apriori算法、FP-growth算法等。
最后,我们把支持度大于某个阈值的项集称为频繁项集。
比如,如果我们设定支持度的阈值为10%,那么所有支持度大于10%的项集都是频繁项集。
频繁项集可以提供有用的信息,比如在购物记录中经常同时出现的商品,或者在医学数据中经常同时出现的症状等等。
三、常见的频繁模式挖掘算法目前,频繁模式挖掘算法有很多种,比较常见的有以下几种:1. Apriori算法:是一种经典的频繁模式挖掘算法,也是最早提出的。
Apriori算法的核心思想是使用“先验知识”来减少搜索空间。
目标频繁模式挖掘算法研究随着互联网技术的不断发展和数据量的不断增加,如何从大量数据中挖掘出有用的信息成为了一个重要的问题。
频繁模式挖掘算法是一种用于发现数据集中经常出现的模式的方法。
在实际应用中,频繁模式挖掘算法被广泛应用于关联规则挖掘、分类、预测等领域。
本文将对频繁模式挖掘算法进行研究,并介绍一种新的算法——目标频繁模式挖掘算法。
一、频繁模式挖掘算法频繁模式挖掘算法是一种用于发现数据集中经常出现的模式的方法。
在数据挖掘中,频繁模式是指在一个数据集中经常出现的模式。
频繁模式挖掘算法主要有两种方法:Apriori算法和FP-growth算法。
1. Apriori算法Apriori算法是一种基于迭代的算法,用于发现频繁项集。
Apriori算法的核心思想是利用先验知识来减少搜索空间。
Apriori 算法的过程如下:(1)生成所有候选项集(单个项集、二元组、三元组……);(2)扫描数据集,计算候选项集的支持度;(3)根据最小支持度阈值,筛选出频繁项集;(4)根据频繁项集生成候选规则;(5)计算规则的置信度,根据最小置信度阈值,筛选出强规则。
Apriori算法的优点是简单易懂,容易实现。
但是,Apriori算法的缺点也十分明显:在生成候选项集时,需要不断地扫描数据集,计算支持度,计算量较大;同时,Apriori算法会生成大量的候选项集,导致计算量和存储空间的急剧增加。
2. FP-growth算法FP-growth算法是一种基于频繁模式树的算法,用于发现频繁项集。
FP-growth算法的核心思想是将数据集压缩成一棵频繁模式树,然后利用树的结构来挖掘频繁项集。
FP-growth算法的过程如下:(1)扫描数据集,生成频繁项表,同时压缩数据集;(2)根据频繁项表生成频繁模式树;(3)从频繁模式树中挖掘频繁项集。
FP-growth算法的优点是在生成频繁模式树时,不需要计算候选项集的支持度,因此计算量和存储空间较小;同时,FP-growth算法也不会生成大量的候选项集,因此可以处理大规模数据集。
文献翻译带约束条件的频繁模式的挖掘摘要众所周知,频繁模式的挖掘在数据挖掘中起到相当重要的作用。
但是频繁模式的挖掘常常产生相当数量的模式和规则,这些不仅降低效率而且影响数据挖掘的效果。
最近的一些工作更显示约束性的挖掘范例在频繁模式、关系、相互关联、连续的模式和其他有意义的挖掘中的作用。
最近,我们开发了一种增长型的模式挖掘方法来处理频繁的模式。
这个方法不仅高效率,而且处理各种需求的时候效果很好。
包括一些以前不能很好处理的为问题也能有效解决。
在这篇论文中,我们将对模式增长型方法对频繁和连续的模式挖掘的要点进行概述。
而且还将就一些复杂的具体问题进行探讨。
1、介绍频繁模式的挖掘在数据挖掘项目中的作用不言而喻,比如寻找相联合性、相关性、因果关系、连续关系的模式、一段情节、多维的模式、最大的模式、时间分块性还有合并且合并模式。
频繁模式的挖掘技术也可以用来解决其他问题,比如冰块算法、分类等等。
这些广泛的应用就更显示出提高其效果和效率的重要性。
频繁模式的挖掘常常产生频繁模式和规则,这样会降低效率和效果,因为每次挖掘用户都需要进行繁琐的搜索。
最近的工作突出了限制性搜索范例的重要性:用户可以通过丰富的语义形式来表示他挖掘进行的重点。
另外也允许用户的继续开发和控制,可以由用户控制需要搜索的范围和模式,来取得进一步的效果提升。
以前关系频繁模式挖掘的大部分研究比如[2;9;16;18;21;22;29;30;32],采用类似Apriori的方法,基于反单调的Apriori属性[2]:如果长度为k的模式并不是频繁的,那么它的长度为k+1的父模式不会是频繁的。
核心想法是从长度为k的模式中反复的产生长度为k+1的模式,然后检查他们在数据库中出现的频率。
一个直观的类似Apriori的方法就是应用反单调的约束来削减候选项。
但是很多常用的约束并不是反单调的,比如avg(X)>=X,需要X模式的平均值大于等于v。
这样,Apriori类的方法遇到了麻烦。
最近,我们发展了有效的增长型方法[2]来处理频繁模式挖掘[14;26;25]和连续模式挖掘[13;27].模式增长方法不是类似Apriori的。
他们避免了项目集的产生和测试。
有趣的是,我们的研究[23;24;28]发现模式增长型方法不仅效率高,而且在处理这些方面效果很好。
以前方法不能处理的约束条件,比如avg()>=v,现在都可以通过这个方法来解决。
在这篇文章中,我们提供了一个用模式增长方法处理不同约束条件的主要框架。
而且我们通过一些实例测试了模式增长方法的具体效果。
文章余下的部分是这么安排的,在第二部分中我们将讨论有约束条件的频繁模式挖掘并且举例说明一些约束的应用和性质。
在第三部分我们将举例说明把不同的约束条件加入增长的频繁模式挖掘中。
连续模式的增长在第四部分有举例。
一些模式增长的方法和应用在第五部分有介绍。
结论在第六部分。
2、什么是有意义的条件?在这一部分,我们将首先讨论有约束条件的频繁模式挖掘,然后举一些例子。
2.1 有约束条件的频繁模式挖掘I={i1,i2,….im}是一个项目集,每个项目对应一个预先设定的属性(比如重量价格等等)。
一个关联T=<tid,It>是一个数组,tid是数组的标识符It⊆I。
一个关联Γ数据库包括一组关系。
一个k-项目集是大小为k的项目集。
我们用S=ij1…ijk描述项目集。
如果X⊆It,则项目集X包括在关系T=<tid,It>中。
项目集的sup(X)是关系库Γ中包含X的关系数。
条件是min_sup(1<=min_sup<=|Γ|), sup(X)>=min_sup。
例1、下表是关系库Γ,项目集I={a,b,c,d,e,f,g,h}表1、数据库Γ中的关系限制参数为2,项目集S=acd是频繁的,因为其在10和30的关系中分别出现。
完整的频繁项目集在表2中列出。
I给出了限制条件,比如C: 2^I ->{true,false}。
项目集X满足一个条件C,如果C(X)=true。
则满足条件C的项目集是SATc(I)={X|X⊆I∧C(X)=true},我们称SACc(I)是合格的。
问题的定义:给出一个数据库Γ,极限为min_sup,限制条件为C。
限制条件的频繁模式挖掘就是去找项目集满足C。
比如Fc={X|X∈SAT(I)∧sup(X)>=min_sup}表2.极限参数为2的关系集(参照表1中已给出的数据)2.2限制条件的类别对于现实中的数据,我们如下进行分类比较,这些类虽然不全面,但足以说明问题。
第一类(项目约束)某些类型的项目必须出现(或不出现)在列表中。
比如,奶制品公司只在商店采购时关心与奶制品有关的东西。
第二类(长度约束)对项目(集)的长度有约束条件的比如,进行文件搜索的时候,用户可能只关心至少包含5个关键字的内容。
第三类(所属关系约束)对某个项目的父/子集进行考虑比如,导游可能对游客在去过华盛顿和纽约之后去什么地方感兴趣。
就是他们希望得到子集。
第四类 (集合约束) 对SUM,AVG,MAX,MIN之类函数又要求的比如,一个市场分析人员会对平均价格高于100美元的商品感兴趣。
换一个方面考虑,约束项还可以通过约束的运行情况进行分类。
简单和反单调的[21;17],单调的[6;9;23]。
大致的情况如下:定义2.1一个约束Ca是反单调的,当且仅当如果S项目集违反Ca时,其父集也如此。
一个约束Cm是单调的,当且仅当S项目集违反Cm,其父集也如此。
J简单性如下定义:Is⊆I是简单集,如果其可以被表示成σp(I)对于选择谓词p, σ是操作符。
SP⊆2^I是简单的,如果存在固定的简单集I1,I2,…Ik⊆I,SP可以用I1,I2…Ik通过联合和相减表示。
Cs是简单的,如果SATCs(I)是简单的。
第四类,(可变性),在[23;24]中说明。
定义2.2(可变约束) 对于一个顺序R,一个项目集S’=i1i2….il称作S=i1i2…im 的前缀(l<=m)一个约束是反单调可变的,如果顺序R下,当任一个实体集满足C,它的前缀也满足;而单调可变是当任一个项目集不满足C,它前缀也不满足。
这两种情况都成为可变的。
例2、每个在表1中的项目都有一个属性值,如表3所示。
对于比如sum(S) θv 之类的约束,我们参照这些值。
表3、 中项目对应的值约束范围range(S)<=15则S中值的变化不应该超过15。
这是一个反单调的约束,就是说,如果其一个项目集ab,违反了约束条件,则它的任何父集都违反;这样ab可以通过类似Apriori的方法被安全的从候选项中剔出。
约束Cavg≡avg(S)>=25不是反单调的。
比如,avg(df)=(10+30)/2<25,违反了约束条件。
但是如果再加入一个项目a则,avg(afd)=(40+10+30)/3>=25, adf 满足Cavg。
如果我们安排一个降序排列,<a,f,g,d,b,h,c,e>,可以发现一个有趣的现象。
比如,项目集afd有a和af作为其前缀。
有趣的是,这个项目集的平均值比其前缀要小。
这样X前缀违反了这个约束,同样以X为前缀的更长的项目集也都违反。
约束Cavg是可变反单调的。
这四类约束包括了我们日常可见的大多数情况。
基于SQL的约束在表4 和表5种列了出来。
3、有约束条件的增长型频繁模式挖掘介绍了以上各种约束之后,你也许要问怎么应用到模式挖掘中去呢?下面我们将举几个例子。
并不是所有约束都可以应用于算法中去。
一个典型的例子就是一个可变的约束,不是单调、反单调也不是简单的,不能被用于Apriori挖掘算法。
比如,项目集df与avg(S)>=25这个约束冲突。
不过,一个类似Apriori的算法不能裁剪这个项目集。
否则,其父集,满足约束条件的adf,不能产生。
总之,一个合法模式的父模式或者子模式将不满足条件,反之亦然。
这样,就不能进行直接的裁剪。
表4、常用约束的性质表5、常用的可变约束的性质(*号表示其依赖于特定的约束“那么是否有将约束应用到挖掘中的有效方法呢?”我们的答案是肯定的。
通过模式增长型方法就可以。
例3 我们通过约束C≡avg(S)>=25来对例1中Γ数据库进行挖掘,参数极限为2。
每一个项目集中的项目通过降序排列<a(40),f(30),g(20),d(10),b(0),h(-10),c(-20),e(-30)>。
可以看到在表5中约束C是一个可变的反单调的。
挖掘的过程在图1中描述了。
通过搜索Γ一次,我们找到了每个项目的支持数。
因为h在每个关系中都存在,它是一个不频繁的项目,就被排除出列了。
1-项目的频繁项目集在R中列出,是 a,f,g,d,b,c,e。
它们中只有a f满足约束1。
因为C是一个可变的反单调约束,含有g,d,b,c,e为前缀的项目集不能满足C。
这样,满足条件的频繁项目集可以分为2类1、以a为前缀,包括a2、以f为前缀,包括f而不包括a(1代表项目集g不满足约束,R中g之后的任何1-项目集都不满足约束条件avg)两个子集不能独立进行挖掘。
1、搜索满足约束并且以a为前缀的项目集。
首先,a是一个满足约束条件的频繁项目集。
而且,以a为前缀频繁项目集存在于包含a的关系的子集中(被称为a-定制数据库)。
这样a存在于a-定制数据库的每个关系中,可以忽略。
a-定制数据库包含两个关系:bcdf和cdef。
因为项目b和e在这个数据库中是不频繁的,ab和ae也都不是频繁的。
所以,他们被裁剪掉。
数据库中频繁的项目是f,d,c,通过R顺序列出来了。
因为ac不满足约束条件,所以没有必要建立一个ac-定制数据库。
为了确定通过af ad为前缀的约束在a-定制数据库中可以挖掘到什么信息,我们建立两个定制数据库。
这个过程和建立a-定制数据库差不多。
Af-定制数据库包含两个频繁项目d和c,只有afd满足约束。
而且,因为dc不满足约束条件,其分支的过程完成了。
因为afc违反条件,没有必要建立afc-定制数据库。
Ad-定制数据库包含一个频繁项目c,但是adc不满足约束条件。
满足约束条件而且以a为前缀的频繁项目集都包含a,af,afd,ad。
图1、挖掘满足条件avg(S)>=25的频繁项目集1、挖掘满足约束并且以f为前缀的实体集。
同样,当a和f都被去除之后,f-定制数据库是包括f的关系的子集。
一共有四个关系:bcd,bcdg,cde,ceg。
定制数据库中的频繁项目是g,d,b,c,e,在R顺序中列出。
因为只有fg和fd满足约束,我们只需要考察是否有以fg或者fd为前缀的满足约束条件的频繁的项目集。
Fg定制数据库不包含以f g为前缀的满足约束条件的频繁项目集。
因为在顺序R中b是紧跟在d后的项目,而且fdb违反约束,所以包含fd为前缀的任何项目集都不能满足约束条件。