科技信息2010年第35期
SCIENCE&TECHNOLOGY INFORMATION
0引言
数据仓库(Data Warehouse,DW[1]是信息领域中近年来迅速发展起来地数据库新技术。数据仓库的建立,能充分利用已有地数据资源,把数据转换为信息,从中挖掘出知识,提炼成智慧,最终创造出效益。所以,越来越多地企业开始认识到数据仓库应用所带来地好处。
计算机系统中存在着两类不同地数据处理工作:操作型处理和分析型处理,也称作OLTP(联机事务处理和OLAP(联机分析处理。
操作型处理也叫事务处理,是指对数据库联机地日常操作,通常是对一个或一组记录地查询和修改,例如火车售票系统、银行通存通兑系统等。这些系统要求快速响应用户请求,对数据地安全性、完整性以及事务吞吐量要求很高。
分析型处理,是指对数据地查询和分析操作,通常是对海量地历史数据查询和分析,例如金融风险预测预警系统、证券股市违规分析系统。这些系统要访问地数据量非常大,查询和分析地操作十分复杂。
两者之间地差异,使得数据仓库技术就应运而生了。
1数据仓库技术
数据仓库和数据库[2]只有一字之差,似乎是一样地概念,但实际则不然。数据仓库是为了构建新的分析处理环境而出现地一种数据存储和组织技术。由于分析处理和事务处理具有极不相同地性质,因而两者对数据也有着不同的要求。数据仓库概念地创始人W.H.Inmon在其《Building the Data Warehouse》一书中,列出了操作型数据与分析型数据之间地区别,基于这些区别,可以给出数据仓库的定义:数据仓库是一个用以更好地支持企业(或组织决策分析处理的、面向主题的、集成的、不可更
新的,随时间不断变化的数据集合。数据仓库本质上和数据库一样,是长期储存在计算机内的、有组织、可共享地数据集合。
数据仓库和数据库主要的区别是数据仓库中地数据具有面向主题的、集成的、不可更新的和随时间不断变化的等四个基本特征。
1.1主题与面向主题
数据仓库中的数据是面向主题进行组织的。主题是一个抽象地概念,是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用地抽象;在逻辑意义上,它对应企业中某一宏观分析领域所涉及的分析对象。比如一家商场,概括分析领域的对象,应有地主题包括供应商、商品、顾客等。面向主题地数据组织方式是根据分析要求将数据组织成一个完备的分析领域,即主题域。
主题域应该具有以下两个特点:
(1独立性,如针对商品地分析所要求的是“商品”主题域,它必须具有独立内涵。
(2完备性,任何对商品地分析处理要求,应该能在“商品”这一主题域内找到该分析处理所要求的内容;如果对商品的某一分析处理要求涉及现存“商品”主题之外地数据,那么就应当将这些数据增加到“商品”主题中来,从而逐步完善“商品”主题。或许有人担心,要求主题地完备性会使得主题包含有过多的数据项而显得过于庞大。
1.2数据仓库是集成的
数据仓库的数据是从原有的分散的数据库数据中抽取来的,因此数据在进入数据仓库之前,必然要经过加工与集成,统一与综合。这一步实际是数据仓库建设中最关键、最复杂的一步。
首先,要统一原始数据中所有矛盾之处;然后将原始数据结构作一个从面向应用到面向主题的大转变;最后还要进行数据综合和计算;1.3数据仓库是不可更新的
数据仓库主要是供决策分析之用的,所涉及的数据操作主要是数据查询,一般情况下并不进行修改操作。
1.4数据仓库是随时间变化的
数据仓库中的数据不可更新[3],是指数据仓库的用户进行分析处理时是不进行数据更新操作的,但并不是说,在数据仓库的整个生命周期中数据集合是不变的。
数据仓库的数据是随时间变化不断变化的,这一特征表现在以下三个方面:
(1数据仓库随时间变化不断增加新的数据内容。
(2数据仓库随时间变化不断删去旧的数据内容。
(3数据仓库中包含大量的综合数据,这些综合数据中很多与时间有关,一次,数据仓库数据的键码都包含时间项,以表明数据的历史时期。
2联机分析处理技术
OLAP(On-Line Analytical Processing即联机分析处理[4],是以海量数据为基础的复杂分析技术。OLAP支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理,辅助各级领导进行正确决策,提高企业的竞争力。
2.1多维数据模型
多维数据模型是数据分析时用户的数据视图,是面向分析的数据模型,用于给分析人员提供多种观察的视角和面向分析的操作。
2.2多维分析操作
常用的OLAP多维分析操作有切片(slice、切块(dice、旋转(pivot、向上综合(roll-up、向下钻取(drill-down等。通过这些操作,使用户能从多个角度多侧面观察数据、剖析数据,从而深入地了解包含在数据中的信息与内涵。
3数据挖掘技术
面对日益激烈的市场竞争,客户对迅速应答各种业务问题的能力的要求不断提高,不仅要求回答发生什么,为何发生,还要回答将发生什么。数据挖掘技术正是支持回答“将发生什么”这类业务问题的。3.1数据挖掘的概念
数据挖掘[5]是从大量数据中发现并提取隐藏在内的、人们事先不知道的但又可能不用的信息和的一种新技术。
数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术,它使决策支持系统(DSS跨入一个新阶段。
3.2数据挖掘的数据源
数据挖掘的数据主要有两种来源[6],可以从数据仓库中来的,也可以直接从数据库中来。这些实际的应用数据往往是不完全的、有噪声的、模糊的、随机的,因此要根据不同的需求在挖掘之前进行预处理。
3.3数据仓库的功能
数据仓库的功能[7]主要有以下几种:
(1概念描述:就是指归纳总结出数据的某些特性。
(2关联分析:若两个或多个变量的取值之间存在某种规律性,就称为关联。
(3分类和预测:找到一定的函数或者模型来描述和区分数据类之间的区别,用这些函数和模型对未来进行预测。
(4聚类:将数据分为多个类,使得类内部数据之(下转第764页
数据仓库与联机分析处理技术综述
李大志1张阿红2
(1.南阳理工学院后勤处河南南阳473000;2.南阳理工学院软件学院河南南阳473000【摘要】本文针对数据仓库DW,OLAP和数据挖掘DM三种技术进行了分析综述。
【关键词】DW;OLAP;数据挖掘
Data Warehouse and O n-line Analytical Processing Technology Overview
【Abstract】Based on data warehouse DW,OLAP and data mining DM three technology to carry on the analysis are reviewed in this paper.【Key words】
DW;OLAP;Data Mining
○IT论坛○
739
科技信息
SCIENCE &TECHNOLOGY INFORMATION
2010年第35期(上接第739页间的差异最小,而类之间数据的差异最大。
(5孤立点的检测:孤立点是指数据中的整体表现行为不一致的那些数据集合。
(6趋势和演变分析:描述行为随着时间变化的对象所遵循的规律或趋势。
4小结
数据仓库DW ,OLAP 和数据挖掘DM 是作为三种独立的信息处理技术出现的。本文详细分析了这三种技术,数据仓库用于数据的存储和组织,OLAP 集中于数据的分析,数据挖掘则致力于知识的自动发现。【参考文献】
[1]王珊,等.数据库技术丛书之一:数据仓库技术与联机分析处理.北京:科技出
版社,1998.
[2]Inmn W H.数据仓库.王志海,等,译.北京:机械工业出版社,2000.[3]Inmn W H ,等.数据仓库管理.王天佑,译.北京:电子工业出版社,2000.[4]Kimball R ,等.数据仓库工具箱.谭明金,译.北京:电子工业出版社,2003.[5]Imhoff C ,等.数据仓库涉及.于戈,译.北京:机械工业出版社,2004.
[6]Mattison R.Web 仓库工程与知识管理.高军,译.北京:清华大学出版
社,2003.[7]Bain T ,等.SQL Server2000数据仓库与Analysis Services.邵勇,等,译.北京:中国电力出版社,2003.
作者简介:李大志(1977—,男,河南南阳人,助理实验师。
[责任编辑:汤静]
科
●科
●
保护机制缺位、政策性出口信用保险和海外投资保险制度存在多方面等。
3.2.2金融服务体系不完善
非洲国内金融市场发展水平较低,难以找到中国金融机构的海外分支,加之许多国家市场存在较大的风险,因而提供融资服务的金融机构往往收取高额的利息,企业融资成本较高,影响了发展。但是目前,中国金融机构对企业的支持大多位于国内,且作用范围很有限。
3.2.3各种政策间的协调不足
中国与非洲开展了政治外交、经济、文化等多个领域的交流和合作。各领域都有一套促进的政策,但总体而言较为分散,没有形成合力。这就造成了政策的协调上难度较大,不利于中非间互利共赢长期发展目标的实现。
3.2.4投资行业领域集中
中国每年对非洲投资主要是制造业。制造业投资主体总数占53.4%,但是,因为纺织服装业也是许多非洲国家的支柱产业、出口创汇的重要产业,又无法和中国竞争,这就导致非洲一些以纺织服装业为主导产业的国家对中国纺织服装产品和产业在全球的扩张充满戒备乃至敌意。一些非洲纺织企业甚至呼吁本国政府支持欧美对中国纺织品出口重新设限。
3.2.5双方了解不够,合作中存在文化冲突
作为两种截然不同的文化,中非在经济交往和合作中难免会遇到冲突。把自身的观念和文化强加于对方,必然会引起冲突,给经济合作造成阻碍。另一方面,中国企业在非洲投资时,履行社会责任的意识还比较淡薄,许多企业在环境保护、劳资关系等方面的处理上还欠妥当,一些企业还存在着无序竞争的情况,这些都影响了中非合作的发展。
4中国对非洲投资战略的建议
鉴于以上分析存在的问题,中国对非洲投资应从以下几个方面进行战略调整:
4.1提升非洲国家的产业竞争力
对非投资要重点促进东道国的产业发展。中国对非投资,要实现互利共赢的战略目标,需要着力促进和提升非洲自身的产业能力。通过投资,完善东道国当地的产业链,提供相关技术、培养专业技术人员和管理人才。
4.2创新经济合作模式
优惠贷款是长期以来中国对非援助的主要方式之一。为了在平等相待、互利共赢的基础上推进非洲的工业化,增强非洲自身发展的能力,必须转变对非援助的方式。可以考虑由优惠贷款等单方面的给予转变为投资合作基金等,既有利于中非经贸合作的进一步推进,又能够在一定程度上避免来自西方的抱怨和指责。4.3营造适合企业发展的金融环境
非洲国家市场对金融的需求很强,但国内金融市场不发达、资本市场体系不完善,过高的风险使得许多外国金融机构望而却步,因此,金融服务供求方面存在巨大的缺口。然而,企业“走”向非洲,需要强有力的金融支持,尤其在海外融资、风险控制、信用支持等方面需要更完善的服务。【参考文献】
[1]项莹,蔡芳芳.扩大对非洲直接投资的策略选择[J].国际经济合作,2006(7:4-6.
[2]张刚.外国石油公司在非洲的竞争趋势分析[J].国际石油经济,2008(16:7-10.
[3]王圳.加强中国与其他发展中国家的经贸合作[J].国经济合作,2006(3:16-19.
[4]马强.我国对非洲投资合作问题的分析.对外经贸实务,2008(11:21-23.[5]李桂芳.中国企业对外直接投资分析报告[M].北京:中国经济出版社,2007.[6]李献兵,郭玉华.我国中小企业在非洲的投资策略研究[J].中国流通经济,2009(3:71-73.
[责任编辑:汤静]
科
(上接第754页当250us 的定时中断到了,判断一个周期是否到,到了就重新置初值50,置P2.3口低电平(电机转将49H (一个周期中为高电平的中断次数的内容放入48H 中,否则就将48H 判断的内容不为0就减1,保持P2.3为低电平本次中断就结束,为0就跳转,重新将49H 的内容放入48H 单元。这样我们只要通过改变49H 中的内容就可以改变PWM 波的占空比。则电机两端电压随占空比变化而变化,因而控制电机转速的变化。2.3.2显示程序简介
本次设计的显示部分采用的是动态显示。所谓动态显示,就是一位一位地轮流点亮各位显示器(扫描,对于每一位显示器来说,每隔一段时间点亮一次。显示器的亮度既与导通电流有关,也与点亮时间和间隔时间的比例有关。调整电流和时间参数,也可以实现亮度较高较稳定的显示。若显示器的位数不大于8位,则控制显示器公共极电
位只需一个8位口(称为扫描口,控制各位显示器所显示的字形也需一个8位口(称为段数据口。本次设计使用的是4位共阴极显示器。89C51的P0口作为段数据口,接显示器的各个段;P2.4到P2.7口作为扫描口,经反向器接显示器公共极。
对于本次设计的4位显示器,在存储器中设置四个显示器缓冲单元,分别存放4位显示器的显示数据,89C51的P2口扫描输出总是只有一位为高电平,即4位显示器中仅有公共阴极为低电平,其他位为高电平,89C51的P0口输出相应位(阴极为低的显示数据的段数据,使该位显示出一个字符,其它位为暗,依次的改变P2口输出为高的位,P0口输出对应的段数据,4位显示器就显示出由缓冲器中显示数据所确定的字符。显示子程序的程序流程图(见图2.3。[责任编辑:汤静]
●●○高校讲坛○764
7.1 概述 自然语言是指人类语言集团的本族语，如汉语、英语、日语等，以及人类用与交流的非发声语言，如手语、旗语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。 众所周知，语言是思维的载体，是人际交流的最重要工具。 在人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。就计算机的应用而言，据统计用于数学计算的仅占10%，用于过程控制的不到5%，其余85%左右都是用于语言文字的信息处理。在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。 在社会发展需求下，自然语言理解作为语言信息处理技术的一个高层次的重要方向，一直是人工智能界所关注的核心课题之一。显然，如果计算机能够理解自然语言，人－机间的信息交流能够以人们所熟悉的本族语言来进行，那将是计算技术的一项重大突破。另一方面，由于创造和使用自然语言是人类高度智能的表现，因此对自然语言理解的研究也有助于揭开人类智能的奥秘，深化我们对语言能力和思维本质的认识。 那么什么叫"自然语言理解"？正如什么是"智能"一样，对于"理解"这个术语也存在着各式各样的认识。在人工智能界，或者语言信息处理领域中，人们普遍认为可以采用著名的图灵
（Turing）试验来判断计算机是否"理解"了某种自然语言。 相比较人工智能其它领域，自然语言理解是难度大，进展小的。至今为止未能达到很高的水平。 Turing提出的智能实验，参加者是计算机、被实验的人以及主持实验的人。由主持人提出问题，计算机和被实验的人来回答，被实验者在回答问题时尽可能的向主持人表示他是"真正"的人，计算机也尽可能逼真的模仿人的思维。如果主持人通过听取对问题的回答分辨不出哪个是人的回答，哪个是机器的回答时，便可认为被试验的计算机是有智能的了。有人对这样设计的实验提出了疑义，他们认为这种实验只反映了结果的比较而没有涉及思维的过程，而且也没明确此人是个孩子还是有良好素质的成年人参加了实验。当一个计算机系统能给出有关问题的正确答案或有用的建议、而解决问题所用的概念和推理与人相当、还能解释推理过程时，便可说这样的计算机系统是有智能的了。 本章将讨论自然语言理解的概念、发展简史以及系统组成与模型等；然后，逐一研究语言的自动分析、句子的自动理解、语言的自动生成和机器翻译等重要问题。 7.1.1 自然语言理解 怎样判断一个机器对人类的自然语言是理解了？没有通用的答案。通常我们同样可以用"图灵"实验来得到结论。判断"自然语言理解"的主要方面有如右页所示： ·问题应答：机器能正确的回答输入文本的有关问题。
人工智能时代下的自然语言处理技术发展应用 摘要：如今，随着人工智能的迅速发展，自然语言处理技术已经成为互联网应 用中的一个炙手可热的研究方向，各大公司也都投入巨额资金和高端人力。但是，在高速发展过程中的自然语言处理技术仍然面临着巨大挑战。在这样的背景下， 本文主要探讨了人工智能时代下的自然语言处理技术发展应用有关内容，可供参考。 关键词：人工智能；自然语言；处理技术；发展应用 1自然语言处理的概述 自然语言处理是使用计算机对自然语言的音，形，义进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成的操作和加工。主要包括自然 语言理解和自然语言生成两个流程。其中自然语言理解是指计算机能够理解自然 语言的意义。自然语言生成是指计算机能够以自然语言来表达给定的意图。 2自然语言处理的相关技术和应用分析 2.1个性化智能推荐 个性化智能推荐以自然语言文本挖掘为基础，具有信息过滤的作用，能够以 用户档案或者历史行为记录为依据，对用户的兴趣爱好进行学习，进而围绕给定 物品岀发，对用户的偏好或者评分进行预测。电子商务发展过程当中，信息处理 面临着信息过载的问题，用户如何在快速增长的资源中对自己所需信息进行准确 定位，是一个重要的问题，正如同商家需要向用户提供精准恰当的服务一般，都 存在一定难度。推荐系统的诞生极大地缓解了这个困难。通过跟踪用户在商城的 浏览、选购、下单等行为，提供基于用户行为的商品推荐，提高商品曝光率和用 户决策效率。“猜你喜欢”、“购买过此商品的用户还购买过……”对于离不开社交平台、电商、生活服务的现代互联网用户来说，个性化推荐已经不是什么新鲜事儿。它改变了商家与用户的沟通方式，加强了和用户之间的交互性。据报道，推荐系 统给亚马逊带来了35%的销售收入，给Netflix带来了高达75%的消费，而且Youtube主页上60%的浏览来自推荐服务。在新闻服务领域，以细分化的数据分 析为基础的个性化新闻推送已经成为新闻客户端的重要方式。通过用户个人的信 息阅读内容、时长、评论等偏好，以及社交网络甚至所使用的移动终端设备机型等，综合分析用户所关注的信息源与信息核心词汇，进而进行专业的细化分析， 从而进行新闻整理推送，基本实现了新闻的个人定制服务.让平台更“懂”用户，提 升了用户体验和粘性。 2.2语音识别技术 以机器为支持来对过程进行识别和理解，促进语音信号向文本与命令技术的 转变，这就是语音识别技术的整个过程，从本质上来说，就是确保人类的语言能 够为机器所理解，促进人类语音词汇内容向计算机可读数据的转化，从而满足应 用需求。在这一过程当中，需要将连续讲话进行合理分解，建立规则以准确理解 语义。前端降噪、语音切割分帧等都是语音识别技术的重要流程，可将其框架分 为声学模型、语言模型以及解码这三个方面。在智能家居领域，普通家庭都会有 很多需要红外遥控器控制的家电，由于红外线传输会受到空间位置影响，一个可 将多个遥控设备集中于一体并且可以通过声音控制其常用功能的集成设备，能自 动切断电源，调换频道。双手没有空闲的状态下，可以通过语音来与智能音箱进
自然语言理解技术，未来人工智能的核动力 摘要：自然语言理解是人工智能研究重要的领域之一，同时也是目前前沿的难题之一。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，是未来人工智能的核动力。因此理解自然语言理解以及自然语言理解技术的含义，阐述自然语言理解的研究及其相关应用，综述自然语言理解技术研究方向变化并对自然语言理解的发展前景进行分析和展望，是十分有意义的。 关键词：自然语言理解技术；智能信息服务； 1.引言： 随着计算机科学的不断发展和成熟，计算机应用开始迈人知识处理、语言理解阶段，人们对计算机的智能提出了新的要求随着社会的日益信息化，人们越来越强烈地希望能更好地同计算机交流。自然语言就是这样一个媒介。 2. 1自然语言理解的含义： 广义的“语言”是任何一种有结构的符号系统。其中, 最重要的两类语言,自然语言和形式语言。而狭义的“语言”是人类在社会牛活中发展出来的用来互相交际的声音符号系统，是“自然语言”。 “自然语言理解”即Natural Language Understanding 俗称人机对话，指的就是使计算机来按照这种语言所表达的意义做出相应反应的机制。它主要研究用电子计算机模拟人的语言交际过程，使计算机能理解和运用人类社会的自然语言如汉语、英语等，实现人机之间的自然语言通信，以代替人的部分脑力劳动，包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。这在当前新技术革命的浪潮中占有十分重要的地位。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言（即人们日常使用的各种通俗语言）的结果。2. 1自然语言理解技术的含义： 首先, 自然语言是极其复杂的符号系统。一个人尽管可以对自己的母语运用自如, 但却无法把自己母语的构成规律、意义的表达规律和语言使用的规律用计算机可以接受的方式彻底说清楚。传统的语言学是在没有计算机参照的条件下发展起来的, 虽然为自然语言理解积累了宝贵的财富, 但那是讲给人的, 真正要让语言学知识变成计算机上可操作的, 绝不是那么简单, 也不能那么模糊。这个目标的实现,需要大量又懂语言学又懂计算机的人在正确的技术路线的指导下一起做非常大规模的基本建设, 绝不是一拍脑袋想出个“绝招”就能解决的。 其次, 自然语言的各个层次上都含有巨大的不确定性。在语音和文字层次上,有一字多
数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术，近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念．做了相应的分析，同时共同探讨了两者共同发展的关系，并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具，给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性，为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology，the research about it is developing flourishing．In this paper，it expatiates and analyses the concepts of Data Warehouse and Data Mine Together，discussing the connections of how to expand the two technologies，and combining the two technologies with prospect．The data warehouse supports the mass data on the further handling and recycling．The paper points out the use of data mining in patient charge control，medical quality control， hospital resources allocation management． It helps the hospital to make decisions positively 关键字：数据仓库；数据挖掘；医院信息系统 Key words：Data Warehouse；Data Mine；Hospital information system
自然语言处理的关键技术 自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。 一、常用技术分类 1、模式匹配技术 模式匹配技术主要是计算机将输入的语言内容与其内已设定的单词模式与输入表达式之间的相匹配的技术。例如计算机的辅导答疑系统，当用户输入的问题在计算机的答疑库里找到相匹配的答案时，就会完成自动回答问题的功能。但是不能总是保证用户输入的问题能得到相应的回答，于是很快这种简单匹配式答疑系统有了改进。答疑库中增加了同义词和反义词，当用户输入关键词的同义词或反义词时，计算机同样能完成答疑，这种改进后的系统被称为模糊匹配式答疑系统。 2、语法驱动的分析技术
语法驱动的分析技术是指通过语法规则，如词形词性、句子成分等规则，将输入的自然语言转化为相应的语法结构的一种技术。这种分析技术可分为上下文无关文法、转换文法、ATN文法。上下文无关文法是最简单并且应用最为广泛的语法，其规则产生的语法分析树可以翻译大多数自然语言，但由于其处理的词句无关上下文，所以对于某些自然语言的分析是不合适的。转换文法克服了上下文无关文法中存在的一些缺点，其能够利用转换规则重新安排分析树的结构，即能形成句子的表层结构，又能分析句子的深层结构。但其具有较大的不确定性。ATN文法扩充了转移网络，比其他语法加入了测试集合和寄存器，它比转移文法更能准确地分析输入的自然语言，但也具有复杂性、脆弱性、低效性等缺点。3、语义文法 语义文法的分析原理与语法驱动相似，但其具有更大的优越性。语义文法中是对句子的语法和语义的共同分析，能够解决语法驱动分析中单一对语法分析带来的不足。它能够根据句子的语义，将输入的自然语言更通顺地表达出来，除去一些语法正确但不合语义的翻译。但是语义文法分析仍然有不容忽视的缺点，其分析的语句中有时会出现不合语法的现象，并且这类分析较为复杂，语义类难以确定，语义的规则太多……因此，语义文法技术仍需要改进措施。 4、格框架约束分析技术
1.数据仓库概述 经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。
2. 全域数据库总体架构 边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的
从语言学到深度学习nlp一文概述自然语言处理 自然语言处理（NLP）近来因为人类语言的计算表征和分析而获得越来越多的关注。它已经应用于许多如机器翻译、垃圾邮件检测、信息提取、自动摘要、医疗和问答系统等领域。本论文从历史和发展的角度讨论不同层次的NLP 和自然语言生成（NLG）的不同部分，以呈现NLP 应用的各种最新技术和当前的趋势与挑战。 1 前言 自然语言处理（NLP）是人工智能和语言学的一部分，它致力于使用计算机理解人类语言中的句子或词语。NLP 以降低用户工作量并满足使用自然语言进行人机交互的愿望为目的。因为用户可能不熟悉机器语言，所以NLP 就能帮助这样的用户使用自然语言和机器交流。 语言可以被定义为一组规则或符号。我们会组合符号并用来传递信息或广播信息。NLP 基本上可以分为两个部分，即自然语言理解和自然语言生成，它们演化为理解和生成文本的任务（图1）。 图1：NLP 的粗分类 语言学是语言的科学，它包括代表声音的音系学（Phonology）、代表构词法的词态学（Morphology）、代表语句结构的句法学（Syntax）、代表理解的语义句法学（Semantics
syntax）和语用学（Pragmatics）。 NLP 的研究任务如自动摘要、指代消解（Co-Reference Resolution）、语篇分析、机器翻译、语素切分（Morphological Segmentation）、命名实体识别、光学字符识别和词性标注等。自动摘要即对一组文本的详细信息以一种特定的格式生成 一个摘要。指代消解指的是用句子或更大的一组文本确定哪些词指代的是相同对象。语篇分析指识别连接文本的语篇结构，而机器翻译则指两种或多种语言之间的自动翻译。词素切分表示将词汇分割为词素，并识别词素的类别。命名实体识别（NER）描述了一串文本，并确定哪一个名词指代专有名词。光学字符识别（OCR）给出了打印版文档（如PDF）中间的文字信息。词性标注描述了一个句子及其每个单词的词性。虽然这些NLP 任务看起来彼此不同，但实际上它们经常多个任务协同处理。 2 NLP 的层级 语言的层级是表达NLP 的最具解释性的方法，能通过实现内容规划（Content Planning)、语句规划（Sentence Planning）与表层实现（Surface Realization）三个阶段，帮助NLP 生成文本（图2）。 图2：NLP 架构的阶段 语言学是涉及到语言、语境和各种语言形式的学科。与NLP 相关的重要术语包括：
自然语言处理的单词嵌入及表征方法 简介 过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。 虽然结果好，我们也必须思考……它们为什么这么好使？ 在这篇文章里，我综述一下在自然语言处理（NLP）上应用深度神经网络得到的一些效果极其显著的成果。我希望能提供一个能解释为何深度神经网络好用的理由。我认为这是个非常简练而优美的视角。 单隐层神经网络 单隐层神经网络有一个普适性（universality）：给予足够的隐结点，它可以估算任何函数。这是一个经常被引用的理论，它被误解和应用的次数就更多了。 本质上这个理论是正确的，因为隐层可以用来做查询表。 简单点，我们来看一个感知器网络（perceptron network）。感知器（perceptron）是非常简单的神经元，如果超过一个阈值它就会被启动，如果没超过改阈值它就没反应。感知器网络的输入和输出都是是二进制的（0和1）。 注意可能的输入个数是有限的。对每个可能的输入，我们可以在隐层里面构建一个只对这个输入有反应的神经元（见注解1）。然后我们可以利用这个神经元和输出神经元之间的连接来控制这个输入下得到的结果（见注解2）。
这样可以说明单隐层神经网络的确是有普适性的。但是这也没啥了不起的呀。你的模型能干和查询表一样的事并不能说明你的模型有任何优点。这只能说明用你的模型来完成任务并不是不可能的罢了。 普适性的真正意义是：一个网络能适应任何你给它的训练数据。这并不代表插入新的数据点的时候它能表现地很理想。 所以普适性并不能解释为什么神经网络如此好用。真正的原因比这微妙得多…为了理解它，我们需要先理解一些具体的成果。 单词嵌入（Word Embeddings） 我想从深度学习研究的一个非常有意思的部分讲起，它就是：单词嵌入（word embeddings）。在我看来，单词嵌入是目前深度学习最让人兴奋的领域之一，尽
13-1进程有哪几种主要类型？不完全组合进程是 由什么原因引起的？有什么特点？如何避免？ 解：两种： （1） begin 顺序语句 end process （2） begin wait 语句； 顺序语句 end process 两个的主要不同就在于敏感信号的不同 13-2比较CASE 语句与WITH_SELECT 语句，叙述它 们的异同点。并用WITH_SELECT_WHEN 语句描述4个16位至1个16位输出的4选1多路选择器。 答：①相同点：CASE 语句中各子句的条件不能有重叠，必须包容所有的条件；WITH_SECLECT 语句也不允许选择值有重叠现象，也不允许选择值涵盖不全的情况。另外，两者对子句各选择值的测试都具有同步性，都依赖于敏感信号的变化。 不同点：CASE 语句只能在进程中使用，至少包含一个条件语句，可以有多个赋值目标；WITH_SECLECT 语句根据满足的条件，对信号进行赋值，其赋值目标只有一个，且必须是信号。 ②LIBRARY IEEE; USE IEEE.STD_LOGIC_1164.ALL; ENTITY mux IS PORT( dina : IN STD_LOGIC_VECTOR(0 to 15); dinb : IN STD_LOGIC_VECTOR(0 to 15); dinc : IN STD_LOGIC_VECTOR(0 to 15); dind : IN STD_LOGIC_VECTOR(0 to 15); sel: IN STD_LOGIC_VECTOR(0 to 1); dout : OUT STD_LOGIC_VECTOR(0 to 15)); END mux; ARCHITECTURE rtl OF mux IS BEGIN with sel select dout<=dina WHEN "00", dinb WHEN "01", dinc WHEN "10", dind WHEN "11", "ZZZZZZZZZZZZZZZZ" when others; END rtl; 13-3 为什么说一条并行赋值语句可以等效为一 个进程？如果是这样的话，该语句咋么实现敏感信号的检测？ 解：因为信号赋值语句的共同点是赋值目标必须都是信号，所有赋值语句与其它并行语句一样，在结构体内的执行是同时发生的，与它们的书写顺序没有关系，所以每一信号赋值语句都相当于一条缩写的进程语句。由于这条语句的所有输入信号都被隐性地列入此缩写进程的敏感信号表中，故任何信号的变化都将相关并行语句的赋值操作，这样就实现了敏感信号的检测。 13-4 在STRING,TIME ，REAL,BIT 数据类型中，VHDL 综合器支持哪些类型？ 答：VHDL 支持BIT 类型和STRING 类型，其他属于用户定义的数据类型不能综合 13-5 判断下列VHDL 标识符是否合法，如果有误 则指出原因16#0FA#，10#12F#，8#789#，8#356#，2#0101010#，74HC245，\74HC574\，CLR/RESET ，\IN 4/SCLK\， D100%。 答：识符用法规定：（1）只能包含英文字母，数字，下划线（2）标识符的首字符只能是字母。故： （1）16#0FA#错在首字符是数字，且包含非法字符“#“。 10#12F#、8#789#，8#356#，2#0101010#，74HC245也是犯同一错误。 （2）\74HC574\,CLR/RESET,\IN4/SCLK\,D100%都 是非法,包含非法字符…. 13-6 数据类型BIT,INTEGER 和BOOLEAN 分别定义 在那个库中？哪些库和程序包总是可见的？ 答：BIT 定义在IEEE 库中，INTEGER 和BOOLEAN 定义在STD 库中，除了STD 库和WORK 库外，IEEE 库面向ASIC 的库和用户自定义的库及其中的包集合 13-7 函数与过程的设计与功能有什么区别? 调用上有什么区别? 1.函数的定义由函数首和函数体两部分组成，在进程或结构体中不必定义函数首，而在程序包中必须定义函数首。 过程也由过程首和过程体构成，在进程或结构体中不必定义过程首，而在过程包中必须定义过程首。 2.函数是串行，过程是串行。 3区别：(1)参数表的区别。函数的参数表是用来定义输出值的，所以不必以显式表示参数的方向；过程的参数表可以对常数、变量和信号三类数据对象目标作出说明，并用关键词IN 、OUT 和INOUT 定
数据仓库的粗略发展历程及相关概念 1.1 概述 数据仓库的概念可能比一般人想像的都要早一些，中间也经历比较曲折的过程。其最初的目标是为了实现全企业的集成（Enterprise Integration），但是在发展过程中却退而求其次：建立战术性的数据集市（Data Marts）。到目前为止，还有很多分歧、论争，很多概念模棱两可甚至是彻底的让人迷惑。本文试图从数据仓库的发展历史中看到一些发展的脉络，了解数据仓库应该是怎么样的，并展望一下未来的数据仓库发展方向。 同时，由于新应用的不断出现，出现了很多新的概念和新的应用，这些新的应用如何统一现成完整的企业BI应用方案还存在很多争论。本文试图对这些概念做一些简要的阐述，让大家对此有初步的了解。 1.2 粗略发展过程 1.2.1 开始阶段（1978-1988） 数据仓库最早的概念可以追溯到20世纪70年代MIT的一项研究，该研究致力于开发一种优化的技术架构并提出这些架构的指导性意见。第一次，MIT的研究员将业务系统和分析系统分开，将业务处理和分析处理分成不同的层次，并采用单独的数据存储和完全不同的设计准则。 同时，MIT的研究成果与80年代提出的信息中心（Information Center）相吻合：即把那些新出现的、不可以预测的、但是大量存在的分析型的负载从业务处理系统中剥离出来。但是限于当时的信息处理和数据存储能力，该研究只是确立了一个论点：这两种信息处理的方式差别如此之大，以至于它们只能采用完全不同的架构和设计方法。 之后，在80年代中后期，作为当时技术最先进的公司，DEC已经开始采用分布式网络架构来
支持其业务应用，并且DEC公司首先将业务系统移植到其自身的RDBMS产品：RdB。并且，DEC公司从工程部、销售部、财务部以及信息技术部抽调了不同的人员组建了新的小组，不仅研究新的分析系统架构，并要求将其应用到其全球的财务系统中。该小组结合MIT的研究结论，建立了TA2（T echnical Architecture 2）规范，该规范定义了分析系统的四个组成部分： ?数据获取 ?数据访问 ?目录 ?用户服务 其中的数据获取和数据访问目前大家都很清楚，而目录服务是用于帮助用户在网络中找到他们想要的信息，类似于业务元数据管理；用户服务用以支持对数据的直接交互，包含了其他服务的所有人机交互界面，这是系统架构的一个非常大的转变，第一次将交互界面作为单独的组件提出来。 1.2.2 全企业集成（Enterprise Intergration，1988） 同时，IBM也在处理信息管理不同方面的问题，其最烦人的问题是不断增加的信息孤岛，IBM 的很多客户要面对很多分立系统的数据集成问题，而这些系统有不同的编码方式和数据格式。1988年，为解决全企业集成问题，IBM爱尔兰公司的Barry Devlin 和Paul Murphy第一次提出了“信息仓库（Information Warehouse）”的概念，将其定义为：“一个结构化的环境，能支持最终用户管理其全部的业务，并支持信息技术部门保证数据质量”，并在1991年在DEC TA 2的基础上把信息仓库的概念包含进去，并称之为VITAL规范（virtually integrated technical architecture life cycle），将PC、图形化界面、面向对象的组件以及局域网都包含在VITAL 里，并定义了85种信息仓库的组件，包括数据抽取、转换、有效性验证、加载、Cube开发和图形化查询工具等。但是IBM只是将这种领先的概念用于市场宣传，而没有付诸实际的架构设计。这是IBM有一个领域上创新后停止不前导致丧失其领先地位。 因此，在90年代初期，数据仓库的基本原理、框架架构，以及分析系统的主要原则都已经确定，
第13章数据库恢复技术 计算机同其他任何设备一样，都有可能发生故障。故障的原因有多种多样，包括磁盘故障、电源故障、软件故障、灾害故障、人为破坏等。这些情况一旦发生，就有可能造成数据的丢失。因此，数据库管理系统必须采取必要的措施，以保证即使发生故障，也不会造成数据丢失，或尽可能减少数据的丢失。 数据库恢复作为数据库管理系统必须提供的一种功能，保证了数据库的可靠性，并保证在故障发生时，数据库总是处于一致的状态。这里的可靠性指的是数据库管理系统对各种故障的适应能力，也就是从故障中进行恢复的能力。 本章讨论各种故障的类型以及针对不同类型的故障采用的数据库恢复技术。 13.1恢复的基本概念 数据库恢复是指当数据库发生故障时，将数据库恢复到正确（一致性）状态的过程。换句话说，它是将数据库恢复到发生系统故障之前最近的一致性状态的过程。故障可能是软、硬件错误引起的系统崩溃，例如存储介质故障，或者是数据库访问程序的逻辑错误等应用软件错误。恢复是将数据库从一个给定状态（通常是不一致的）恢复到先前的一致性状态。 数据库恢复是基于事务的原子性特性。事务是一个完整的工作单元，它所包含的操作必须都被应用，并且产生一个一致的数据库状态。如果因为某种原因，事务中的某个操作不能执行，则必须终止该事务并回滚（撤销）其对数据库的所有修改。因此，事务恢复是在事务终止前撤销事务对数据库的所有修改。 数据库恢复过程通常遵循一个可预测的方案。首先它确定所需恢复的类型和程度。如果整个数据库都需要恢复到一致性状态，则将使用最近的一次处于一致性状态的数据库的备份进行恢复。通过使用事务日志信息，向前回滚备份以恢复所有的后续事务。如果数据库需要恢复，但数据库已提交的部分仍然不稳定，则恢复过程将通过事务日志撤销所有未提交的事务。 恢复机制有两个关键的问题：第一，如何建立备份数据；第二，如何利用备份数据进行恢复。 数据转储（也称为数据库备份）是数据库恢复中采用的基本技术。所谓转储就是数据库管理员定期地将整个数据库复制到辅助存储设备上，比如磁带、磁盘。当数据库遭到破坏后可以利用转储的数据库进行恢复，但这种方法只能将数据库恢复到转储时的状态。如果想恢复到故障发生时的状态，则必须利用转储之后的事务日志，并重新执行日志中的事务。 转储是一项非常耗费资源的活动，因此不能频繁地进行。数据库管理员应该根据实际情况制定合适的转储周期。 转储可分为静态转储和动态转储两种。 静态转储是在系统中无运行事务时进行转储操作。即在转储操作开始时数据库处于一致性状态，而在转储期间不允许对数据库进行任何操作。因此，静态转储得到的一定是数据库的一个一致性副本。 静态转储实现起来比较简单，但转储必须要等到正在运行的所有事务结束才能开始，而且在转储时也不允许有新的事务运行，因此，这种转储方式会降低数据库的可用性。
数据仓库与数据挖掘技术
第1章数据仓库与数据挖掘概述1.1数据仓库引论1 1.1.1为什么要建立数据仓库1 1.1.2什么是数据仓库2 1.1.3数据仓库的特点7 1.1.4数据进入数据仓库的基本过程与建立数据仓库的步骤11 1.1.5分析数据仓库的内容12 1.2数据挖掘引论13 1.2.1为什么要进行数据挖掘13 1.2.2什么是数据挖掘18 1.2.3数据挖掘的特点21 1.2.4数据挖掘的基本过程与步骤22 1.2.5分析数据挖掘的内容26 1.3数据挖掘与数据仓库的关系28 1.4数据仓库与数据挖掘的应用31 1.4.1数据挖掘在零售业的应用31 1.4.2数据挖掘技术在商业银行中的应用36 1.4.3数据挖掘在电信部门的应用40 1.4.4数据挖掘在贝斯出口公司的应用42 1.4.5数据挖掘如何预测信用卡欺诈42 1.4.6数据挖掘在证券行业的应用43 思考练习题一44
1.1.1为什么要建立数据仓库 数据仓库的作用 建立数据仓库的好处
1.1.2 什么是数据仓库 1．数据仓库的概念 W.H.Inmon在《Building the Data Warehouse》中定义数据仓库为：“数据仓库是面向主题的、集成的、随时间变化的、历史的、稳定的、支持决策制定过程的数据集合。”即数据仓库是在管理人员决策中的面向主题的、集成的、非易失的并且随时间而变化的数据集合。 “DW是作为DSS基础的分析型DB，用来存放大容量的只读数据，为制定决策提供所需的信息。” “DW是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的。即与企业定义的时间区段相关，面向主题且不可更新的数据集合。” 数据仓库是一种来源于各种渠道的单一的、完整的、稳定的数据存储。这种数据存储提供给可以允许最终用户的可以是一种他们能够在其业务范畴中理解并使用的方式。 数据仓库是大量有关公司数据的数据存储。 仓库提供公司数据以及组织数据的访问功能，其中的数据是一致的（consistent），并且可以按每种可能的商业度量方式分解和组合；数据仓库也是一套查询、分析和呈现信息的工具；数据仓库 是我们发布所用数据的场所，其中数据的质量是业务再工程的驱动器（driver of business reengineering）。 定义的共同特征：首先，数据仓库包含大量数据，其中一些数据来源于组织中的操作数据，也有一些数据可能来自于组织外部；其次，组织数据仓库是为了更加便利地使用数据进行决策；最 后，数据仓库为最终用户提供了可用来存取数据的工具。
数据库与信息管理 电脑知识与技术 １引言 传统的数据库技术是以单一的数据资源，即数据库为中心，进行事务处理、批处理、决策分析等各种数据处理工作，数据处理可划分为两大类：操作型处理（ＯＬＴＰ）和分析型处理（统计分析）。操作型处理也叫事务处理，是指对数据库联机的日常操作，通常是对一个或一组纪录的查询和修改，主要为企业的特定应用服务的，注重响应时间，数据的安全性和完整性；分析型处理则用于管理人员的决策分析，经常要访问大量的历史数据。而传统数据库系统利于应用的日常事务处理工作，而难于实现对数据分析处理要求，更无法满足数据处理多样化的要求。因此，专门为业务的统计分析建立一个数据中心，它是一个联机的系统，专门为分析统计和决策支持应用服务的，通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。 ２数据仓库概念及发展 ２．１什么是数据仓库 数据仓库就是面向主题的、集成的、不可更新的（稳定性）、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。 ２．２相关基本概念 ２．２．１元数据 元数据（ｍｅｔａｄａｔａ）：是“关于数据的数据”，相当于数据库系统 中的数据字典，指明了数据仓库中信息的内容和位置，刻画了数据的抽取和转换规则，存储了与数据仓库主题有关的各种信息，而且整个数据仓库的运行都是基于元数据的，如修改跟踪数据、抽取调度数据、同步捕获历史数据等。 ２．２．２ＯＬＡＰ（联机分析处理Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）数据仓库用于存储和管理面向决策主题的数据，ＯＬＡＰ对数据仓库中的数据分析，并将其转换成辅助决策信息。ＯＬＡＰ的一个 重要特点是多维数据分析，这与数据仓库的多维数据组织正好形 成相互结合、相互补充的关系。ＯＬＡＰ技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等，它便于使用者从不同角度提取有关数据，其基本思想是：企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化。对ＯＬＡＰ进行分类，按照存储方式的不同，可将 ＯＬＡＰ分成ＲＯＬＡＰ、ＭＯＬＡＰ和ＨＯＬＡＰ；ＲＯＬＡＰ没有大小限制；现 有的关系数据库的技术可以沿用；可以通过ＳＱＬ实现详细数据与概要数据的储存；现有关系型数据库已经对ＯＬＡＰ做了很多优 化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、ＳＱｌ的ＯＬＡＰ扩展等大大提高了ＲＯＡＬＰ的速度；可以针对ＳＭＰ或ＭＰＰ的结构进行查询优化。 一般比ＭＤＤ响应 速度慢；只读、不支持有关预算的读写操作；ＳＱＬ无法完成部分计算，主要是无法完成多行的计算，无法完成维之间的计算。 ＭＯＬＡＰ性能好、 响应速度快；专为ＯＬＡＰ所设计；支持高性能的决策支持计算；复杂的跨维计算；多用户的读写操作；行级的计算。增加系统复杂度，增加系统培训与维护费用；受操作系统平台中文件大小的限制，难以达到ＴＢ级；需要进行预计算，可能导致数据爆炸；无法支持维的动态变化；缺乏数据模型和数据访问的标准。 ＨＯＬＡＰ综合了ＲＯＬＡＰ和ＭＯＬＡＰ的优点。它将常用的数据存储为ＭＯＬＡＰ，不常用或临时的数据存储为ＲＯＬＡＰ，这样就兼顾 了ＲＯＬＡＰ的伸缩性和ＭＯＬＡＰ的灵活、纯粹的特点。 收稿日期：２００６－０３－２４ 作者简介：赵方（１９７９－），女，浙江杭州人，浙江树人大学助教，硕士在读，主要从事教学、科研工作，以数据库应用、信息管理为主要研究方向。 数据仓库技术及实施 赵 方 （浙江树人大学，浙江杭州３１００１５） 摘要：介绍了数据仓库的基本概念，针对数据仓库建立对创建数据仓库的过程进行了分析，对实现数据抽取、数据仓库的存储和管理等进行分析和比较。 关键词：数据仓库；联机分析处理；数据抽取；数据存储中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１００９－３０４４（２００６）１７－００３２－０２ ＲｅｓｅａｒｃｈｏｆＤａｔａＷａｒｅｈｏｕｓｅＴｅｃｈｎｏｌｏｇｙ ＺＨＡＯＦａｎｇ （ＺｈｅｊｉａｎｇＳｈｕｒｅｎＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅｉｎｔｅｒｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆＤａｔａＷａｒｅｈｏｕｓｅａｒｅｉｎｔｒｏｄｕｃｅｄ．ＡｎａｌｙｚｅｄｔｈｅｐｒｏｃｅｄｕｒｅｏｆｉｎｔｅｇｒａｔｅｄＤａｔａＷａｒｅｈｏｕｓｅａｎｄｂｕｉｌｄｉｎｇｔｈｅｄａｔａｗａｒｅｈｏｕｓｅ，ＤａｔａＥｘｔｒａｃｔ，ＤａｔａＷａｒｅｈｏｕｓｅＳｔｏｒａｇｅａｎｄｈｏｗｔｏｍａｎａｇｅｔｈｅＤａｔａＷａｒｅｈｏｕｓｅ． Ｋｅｙｗｏｒｄｓ：ＤａｔａＷａｒｅｈｏｕｓｅ；ＯＬＡＰ（Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）；ＤａｔａＥｘｔｒａｃｔＴｒａｎｓｆｏｒｍＬｏａｄ；ＤａｔａＳｔｏｒａｇｅ ３２
数据库技术及其在金融行业的应用 1. 前言 数据库仓库（DW）技术从1991年开始出现，经过多年的摸索和应用，目前在一些发达国家已经建设得比较成熟，为企业综合与灵活的分析型应用提供了强大的数据支撑，为管理层的分析决策和操作层的智能营销提供了技术保证，为企业带来了多方面的收益。而在国内，数据库仓库仍处于尝试或初级建设阶段。 国内的金融行业，随着外部监管和信息披露的压力、内部管理和决策分析的需要，在建设分析类应用时，也正在逐渐从孤立的数据层向统一的数据仓库层规划和转移。建立数据仓库能够减少对数据层的重复投资和资源浪费、统一数据标准、监管和提高数据质量、消除信息孤立、支持综合分析和灵活及时的分析型应用、适应管理和发展、提高业内竞争力。 本文对数据库技术做一个概括性的介绍，并对国内外金融行业数据仓库技术的应用现状做一个简单分析。 2. 数据仓库概念 2.1. DW的提出 2.1.1. 需求 业务系统的建设与逐渐完善，巨量数据信息的积累。 分析类需求不断增加，传统分析类应用造成巨大的资源浪费和管理困难。 业务数据平台异构、数据来源口径多、标准不统一、信息孤立。 整合部门级应用，建设企业级应用，满足综合分析、复杂查询、智能营销等高级需求。 2.1.2. DW概念的提出 MIT在20世纪70年代对业务系统和分析系统的处理过程进行研究，结论是只能采用完全不同的架构和设计方法。 1988年，IBM为解决全企业数据集成问题，提出了信息仓库的概念，确立了原理、架构和规范。但没有进行实际的设计。 1991年，Bill Inmon提出了数据仓库概念，并对为什么建设数据仓库和如何建设数据仓库进行了论述。Bill Inmon被称为数据仓库之父。
1. 数据仓库概述 经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。
2. 全域数据库总体架构 核心业务边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的各种同构、异构数据（前提是拥有足够的权限）。信息整合服务在整个XXX 层面保证