计算机时代２００７年第２期 ・５７・
数据挖掘模型快速更新的算法研究★
赵彩云。常晋义 （常熟理工学院计算机科学与工程系，江苏常熟２１５５００） 摘要：就数据挖掘在外贸业务分析决策系统的应用中遇到的问题提出了看法和解决方案。为充分利用已有的模型结 果，提高挖掘模型的维护效率，分别对关联规则模型和预测类挖掘模型提出了一种快速更新的方法和思路。 关键词：决策支持系统；数据仓库；联机分析处理；数据挖掘 ０引言 根据经贸委制定的ｃＴＰＩ（ｃｈｉｎａ Ｔｒａｄｅ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｅｘ） 指标体系建立的《外贸业务分析决策系统》，利用ＯＬＡＰ分析所 建的数据仓库中的数据、指标分析计算出的指标值以及中国统 计年鉴网站的相关数据建立了专用的数据挖掘仓库，并成功应 用于外贸业务分析决策系统，为经贸委科学决策提供依据ｎ＇习。 １外贸业务分析决策系统结构分析 图ｌ为外贸业务分析决策系统结构简图。
源数据 分析服务 用户界面 图１外贸业务分析决策系统结构简图 系统利用的数据有：国内海关数据、国际世贸数据、ＧＤＰ及 各省市人口值等基本数据。这些数据构成了以ＯＬＡＰ分析为目 的的数据仓库的异构数据源。建立ＯＬＡＰ数据仓库的目的，是 提供系统的一般查询（常见的外贸信息查询）、指标查询（外经 贸委采用的一套国际流行的贸易指标查询）。 数据挖掘库中的数据主要来自三个方面：（１）用于ＯＬＡＰ分 析的数据仓库，如各省市五年来的进出口数据，各省市编码和 产品类别等信息；（２）通过ＯＬＡＰ工具计算出来的ＣＴＰＩ指标。 如出口比较优势、出口竞争优势、加工贸易增值率、人均出口等 反应综合贸易能力的经济学指标；（３）中国统计年鉴的相关统 计数据，如各省市、地区的国民经济核算、对外贸易情况、人口 构成、负担系数和受教育情况，国企、私企、三资企业情况，人民 生活、产业结构、环境污染等几十个方面的数据。 ２数据挖掘模型的建立 ２．１建立数据挖掘库 建立数据挖掘库，首先要对数据进行统一化和补足，为此， 不仅要保证数据值的正确性，还要保证数据记录形式的一致 性，统一不同数据源的数据格式和数据含义。 为了方便挖掘，防止在挖掘过程中反复查看大量的原始数 据表，还应该针对不同的挖掘目标，在数据挖掘库中建立了若 干数据挖掘虚拟表一宽视图。 ２－２建立模型 在建立的宽视图上，针对要预测和分析的变量，选择可能 相关的变量，运用挖掘算法对数据进行训练，建立数据挖掘模 型。在系统中，从几十个不同的侧面进行分析，训练挖掘模型， 并对挖掘模型进行反复调整，对同一主题进行多次建模。从各 省市ＣＴＰＩ指标值、进出口额、产业结构、企业性质、从业人员文 化结构、产品质量、工资、环境污染等十几个方面进行分析和挖 掘，最终从５０多个模型中确立了十几个比较合理的挖掘模型。 为了保证得到的模型具有较好的精确性和健壮性，把选定 的数据分为两部分，一部分用来建立模型，另一部分用来进行 验证模型。剔除预测错误率高的数据模型，保存有价值有意义 的模型。在系统中，还建立了以年度、省市、产品作为“维”的反 应进出口情况、产值情况、ＣＴＰＩ指标情况、污染情况等方面的 数据集，以便于观察和验证模型结论。 ３挖掘模型的快速更新问题 随着经济和市场形式的变化，使原来适用的模型可能变得 不适用，也可能有新的规则或模式出现，此时需要更新数据仓 库，重新处理旧数据，以重新建立挖掘模型。为了充分利用数据 挖掘中已经得到的模型，尽量只对新数据进行处理，以提高模 型更新的效率。 ３．１关联规则模型的快速更新 关联规则是描述型挖掘的主要模型算法，在挖掘中对数据的 扫描次数相当多，资源消耗大日。这里，我们提出—种增量式更新算 法１ＵＡ（Ｉｎｃｒｅｍｅｎｔ Ｕｐｄａｔｅ Ａｌｇｏｒｉｔｈｍ）来对挖掘模型进行更新Ｉｑ。 ３．１．１关联规则更新问题的实质 设更新前的数据库ＤＢ的频繁项目集（或频集）为Ｌ，新增 加到数据库ＤＢ中的数据集ｄｂ的频集为Ｌ．，更新后的数据库 ＤＢｕｄｂ的频集为Ｌ＇．。 根据关联规则的算法可知：一方面，更新前的数据库ＤＢ 中的频集ｘ（ｘ∈Ｌ），在更新后的数据库ＤＢｕｄｂ中可能不再是 频集；另一方面，在数据库ＤＢｕｄｂ中也可能产生新的频集。更 新关联规则问题的实质就是发现更新后数据库ＤＢ Ｕｄｂ中的 频集Ｌ”。
物联网数据挖掘模型的研究
中国宁波，浙江大学宁波理工学院Shen Bin
中国杭州，浙江大学管理学院Liu Yuan，Wang Xiaoyi
摘要——在这篇论文中，我们提到了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。其中，多层数据挖掘模型包含四层：1）数据收集层，2）数据管理层，3）事件处理层，4）数据挖掘服务层。分布式数据挖掘模型可以解决数据存放在不同地点的问题。基于网格的数据挖掘模型使网格框架实现数据挖掘功能。多层技术集成角度的数据挖掘模型描述了未来网络的相应框架。并且讨论了一些IOT数据挖掘的重要问题。
关键词——物联网，数据挖掘模型，RFID技术
一、 介绍
物联网（IOT）是下一代网络，包含上万亿节点来代表各种对象，从无所不在的小型传感器设备，掌上的到大型网络的服务器和超级计算机集群[23]。它是继电脑和网络革命之后的又一场科技革命。它集成了新的计算和通讯技术（如传感器网络，RFID技术，移动技术，实时定位，普遍存在计算和IPV6等）和建立下一代互联网的发展方向。IOT是IBM公司提出的智能星球的核心。物联网的智能对象（如传感器输入、制动器等）可以通过基于新信息和通讯技术的网络来通信。
S. Haller等人[2]提出了如下的定义：“它是这样的一个世界，物理对象可以无缝集成到信息网络，并且可以成为业务流程的积极参与者。服务可以在网络中影响到这些‘智能对象’，找到他们的国家以及与他们向关联的任何问题，并能考虑到安全和隐私问题。”
刘教授[3]从技术和经济的角度提出了对于IOT的想法：“从技术的角度上讲，IOT是传感器网络的集成，包括RFID和无所不在的网络。从经济的角度来看，这是一个开放的观念，集成了新的相关科技和应用，产品和服务，生产和市场。”
物联网将会产生大量的信息。让我们举一个例子，将超市引入一个采用RFID技术的供应链。RFID数据的原始形态是这样的形式：EPC，地点，时间。EPC代表了一个RFID读者阅读的唯一标识；地点是读者的位置；时间是阅读发生的时刻。这需要18个字节来储存一个RFID记录。一个超市，大约有700000个RFID记录。所以如果这个超市每秒都有读者在浏览，那么每秒大约产生12.6GBRFID数据流，每天将达到544TB的数据。因此，发展有效的思想去管理、分析、挖掘RFID数据是非常必要的。物联网数据可以分成几种类型：RFID数据流、地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等[1]。它将给物联网的管理、分析、挖掘数据带来巨大的挑战。
龙源期刊网
数据挖掘技术在教学评价中的应用
作者：李红艳
来源：《数字技术与应用》2013年第07期
摘要：党校教师在面对大量教学评价数据时，使用传统方法以及评价技术，这与高速发展的现代党校的计算机课程教学的要求不相符。而数据挖掘技术全面地分析教学水平与各种因素之间隐藏的内在联系，将其运用于教学评价中可以深层次分析与处理数据，为教学质量的提高提供更多的措施与方法。本文对数据挖掘技术相关概述、教学评价相关概述进行阐述，并对数据挖掘技术在教学评价中的应用进行分析研究。
关键词：数据挖掘技术 教学评价 应用
中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2013）07-0076-02
1 前言
党校计算机课程的教学质量是党校学生关注的焦点，因此党校教师应该把教学质量的提高放在首要位置。但是，党校的教学教务部门如果使用传统的评价方法面对大量教学评价数据进行评价，效果不大。而数据挖掘技术可以对大量教学评价数据进行高层次、多角度的处理与分析，可以从中发现较多有用的知识与信息，为高校教学质量水平的提高提供更多方法与措施。
2 数据挖掘技术相关概述
数据挖掘是决策支持的过程，是从随机、模糊、有噪声、不完全、大量的实际应用数据中进行隐含其中且潜在有用知识以及信息的一种提取过程[1]。数据库中发现有意义的、隐含的知识是数据挖掘的主要目标，而这个过程的实现依靠多种数据的挖掘技术。常用数据挖掘技术包括时序模式分析、偏差检测、聚类分析、分类和预测规则等，而关联规则是实用性较强、应用比较广泛的重要技术之一。关联规则挖掘技术是发现数据库一组数据项之间存在某种关联规则的一种过程[2]。首先从数据库中识别频繁出现的属性值集，再利用这些属性值集产生强的关联规则的过程。Apriori算法是关联规则中较为经典的算法，通过数据库的多趟扫描发现所有频繁项目集。Apriori算法具有易于解释与理解、实现起来较为简单、找出数据之间隐含重要关系、适合大型数据库的处理等优势。将其用在教学评价的数据挖掘系统中，可以发现影响党校教师教学质量因素，达到改进教学方法的作用[2]。
•
• OB实现精准营销需要建立的数据挖掘模型
第一：模型横向
1、 会员定性：通过对会员姓名，性别，年龄，购买商品，购买时间，购买金额，商品品类等数据。得出客户的购买习惯，购买能力，会员粘稠度。得出会员属性列表。
2、 商品定位：通过同纬度得出商品销售生命周期，商品毛利，商品消费群等。通过此信息策划OB商品。建立商品地图。
3、 行销：根据现有销售数据库，分析各维度数据。得出针对不同时间，客户，商品使用不同行销活动对营销的影响，参考此模型制定行销策略并预估营销效果。
第二：纵向：
1、 业务需求分析：分析客户购买特性和购买记录，支撑营销策划。根据现有公司销售要求，针对什么客户进行营销。包括“促销方案分析及评估”，“个性化商品”，“营销方案及有效化”，“促销敏感性和目标”等
2、 数据准备和转化：为支撑相关业务要求，销售和客户数据能准确，全面精准与业务匹配；另外能将相关数据按照数据库要求及时归类。
3、 会员属性选择：根据业务要求能精准找到会员属性。符合相关方案要求。
4、 建立会员模型：按照会员姓名，性别，年龄，购买商品，购买时间，购买金额，商品品类，行销活动使用等数据等维度建立会员模型。包括客户模型，客单模型，积分模型，销售明细模型，商品模型，付款模型。
5、 模型评估：在建立会员模型之后需要测试业务需求分析，数据转化，会员属性定义，商品和行销模型匹配。能进行精准的市场定位,包括“客户价值及趋势”，“客户潜在价值及忠诚度”，“客户流失倾向”，“行销活动敏感度”，“客户消费倾向及消费周期”，“客户基本信息”评估。
第三：数据挖掘逻辑
1、 分类问题：对数据进行分类，预测问题类别。通过对多个数据源进行分类，能够将数据进行归类，并能通过数据分析发现问题同时对问题也能进行分类。
2、 聚类问题：解决一群对象划分不同类别的问题。通过对不同的类型数据能统一和整理成一个类别。这是分总概念，通过汇总不同类别数据和问题找到集中式解决方案。
