缓存一致性研究
A Thesis Submitted in Partial Fulfillment of the Requirements
for the Degree of Master of Engineering The Research of Cache Consistency of Mobile Client in Embedded Mobile Real-time Database
Candidate ：Zhicheng Li
Major ：Computer Software and Theory
Supervisor ：Professor Lu Yansheng
Huazhong University of Science and Technology
Wuhan 430074, P.R.China
June, 2007
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。
学位论文作者签名：
日期：年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密□，在_____年解密后适用本授权书。
本论文属于
不保密□√。
（请在以上方框内打“√”）
学位论文作者签名：指导教师签名：
日期：年月日日期：年月日
华中科技大学硕士学位论文
摘要
随着移动通信技术的迅速发展和使用，许多计算结点已经可以在自由移动的过程中保持与网络的连接。于是人们迫切需求能在任何时候、任何地点访问任何数据。随着嵌入式和移动计算技术的发展逐步成熟，嵌入式移动实时数据库系统(EMRTDBS)正开始受到越来越多的研究人员的关注。客户端缓存技术作为关键技术一方面可以进一步提高移动数据库系统的访问性能与可伸缩性。另一方面可以支持客户端的断接操作，提高移动数据库的可用性。客户端的一致性问题研究是缓存技术一个重要研究内容。
保持客户端缓存的一致性就是要保持客户端缓存与服务器数据的一致性。用什么方法来保持客户端缓存与服务器数据的同步更新，如何在重连后保持缓存与服务器数据的一致性，如何更好的支持在客户端执行的强一致性事务，减少事务延迟，使上行的消息数量最小。
一种改进的基于异步广播的缓存失效策略ASI采用异步广播方式，即服务器上的数据更新时立即广播缓存失效报告，客户端接收到失效报告以后维护本地缓存，保持与数据库的一致性。在MSS的代理上缓存所有客户端的失效消息，这样客户端即使断接很长时间，也不需要丢弃整个缓存。周期性的发送控制消息CM来解决异步广播情况下不能够确定下一次异步广播的时间的问题，提高事务的执行速度。
基于异步广播的缓存失效策略ASI能够有效的解决客户端缓存的一致性问题。实验结果表明，ASI比同步广播的缓存失效策略API表现更为出色。
关键词：嵌入式移动实时数据库，缓存一致性，失效报告，异步广播
华中科技大学硕士学位论文
Abstract
With the fast development of mobile telecommunication, many computing nodes can move freely keeping connection with the network. So people urgently want to visit any data at any time and any place. With embedded and mobile computing technology develops gradually mature, Embedded Mobile Real-time Database system (EMRTDBS) has been a hot field. Client data caching technology as a key technology of EMRTDBS is to further enhance the mobile database system performance and scalability. Otherwise, Client caching technology can support disconnections of the client, improve the availability of the mobile database. Client consistency research is one of the most important issues of cache technology research.
However, for maintaining client cache consistency, the cached data must consistent with those data stored in the server. The main job is to maintain data synchronization between the client and the server when the data in the server is updated. An effective scheme will support the prolonged disconnection operation. The algorithms must achieve great improvements of transaction latency and minimizes the number of aborted transactions.
The proposed scheme ASI uses asynchronous invalidation report (call-backs) to maintain cache consistency i.e. report are broadcast by the server only when some data changes, and not periodically. The client uses the invalidation report to maintain data consistency. The home MSS maintains for each MC a data structure which stores the latest timestamp for each data item cached by MC. MC can continue to use its cache even after prolonged periods of disconnection from the network, without the need of discarding the entire cache. The server broadcasts the Control Message (CM) periodically. Guarantees can be given about when this report will be sent and hence guarantees can be given for the waiting time.
ASI is an effective cache maintenance scheme. We compare proposed algorithms to the algorithm based on synchronous cache invalidation scheme called API. Experimental results show the superiority of ASI.
Keywords: embedded mobile real-time database, cache consistency,
invalidation report, asynchronous broadcasting
华中科技大学硕士学位论文
目录
摘要.................................................................................................................. I Abstract .............................................................................................................. II 1 引言
1.1 研究背景 (1)
1.2 移动计算环境及特点 (1)
1.3 国内外研究现状 (2)
1.4 本文主要研究内容及组织结构 (3)
2 嵌入式移动实时数据库系统的系统模型及关键技术
2.1 嵌入式实时数据库系统的系统模型 (4)
2.2 嵌入式实时数据库系统的关键技术 (5)
2.3 小结 (12)
3 移动客户端的缓存技术
3.1 移动客户机缓存的子集描述 (13)
3.2 缓存的工作机制 (14)
3.3 联机状态 (16)
3.4 脱机状态 (18)
3.5 集成状态 (20)
3.6 小结 (22)
4 一种改进的基于异步广播的缓存失效策略
华中科技大学硕士学位论文
4.1 相关研究 (23)
4.2 一种改进的基于异步广播的缓存失效策略 (25)
4.3 小结 (29)
5 性能分析与实验
5.1 原型系统的总体架构 (30)
5.2 性能分析与比较 (32)
5.2 实验与结论 (32)
5.3 小结 (36)
6 总结与展望
6.1 总结 (37)
6.2 展望 (37)
致谢 (39)
参考文献 (40)
华中科技大学硕士学位论文
1 引言
1.1 研究背景
随着移动通信技术的迅速发展和使用，许多计算结点已经可以在自由移动的过程中保持与网络的连接。于是人们迫切需求能在任何时候、任何地点访问任何数据，这使得原来基于有线网络和固定主机的分布式数据库不再适应，因而移动数据库技术使应运而生。新的应用对移动环境下的事务处理提出了新的需求，如实时交通信息管理系统、海上导航系统及股票交易系统等，该类应用普遍要求在移动环境下实现实时事务处理。随着嵌入式和移动计算技术的发展逐步成熟，嵌入式移动实时数据库系统(EMRTDBS)正开始受到越来越多的研究人员的关注。
一般认为嵌入式移动实时数据库系统是指支持移动计算或某种特定计算模式的实时数据库管理系统，它通常与操作系统和具体的应用集成在一起，运行在嵌入式或移动设备上。嵌入式实时移动数据库技术涉及数据库、实时系统、分布式计算以及移动通信等多个学科，已成为数据库技术发展的一个新方向。
1.2 移动计算环境及特点
目前已进入以网络计算为中心的时代，人们迫切需求能在任何时候、任何地点访问任何所需数据，而正在迅速发展并逐渐成熟的移动通信技术与移动计算机的结合为之提供了手段。可以预见，未来的绝大部分移动计算机都将配备以无线网络为主的移动联网设备，以支持移动用户访问网络中数据的需要。这将是一种更加灵活、复杂的分布计算环境，人们称之为移动计算(Mobile Computing)。
移动计算系统是一个动态的分布式系统，网络中节点之间的连接动态变化，不依赖于一个固定的网络结构。许多分布式系统中的问题解决方法不能应用于移动计算领域。移动计算环境与基于固定网络的传统分布式计算环境相比，具有以下一些主要特点：
1) 移动性。
华中科技大学硕士学位论文
2) 频繁断接性。
3) 网络条件多样性。
4) 网络通信的非对称性，下行链路与上行链路的通信带宽相差很大。
5) 移动计算机的电源支持时间有限。
6) 与固定网络相比可靠性低。
7) 规模的可伸缩性。
由于移动计算环境的上述特点，使得传统的分布式实时数据库技术不能或不能有效地支持移动计算环境。因此，嵌入式移动实时数据库技术，即支持移动计算环境的分布式实时数据库技术，己成为目前分布式数据库研究的一个新方向。
1.3 国内外研究现状
数据库技术总是与计算环境的一定发展阶段相适应，新的计算环境和需求促成数据库技术的形成和发展。计算环境从集中式、分布式、网络环境到日前深受瞩目的移动计算环境MCE(Mobile Computing Environment)和普遍化计算环境PCE (Pervasive Computing Environment)等多种计算环境。在分布计算的基础上，计算环境进一步扩展包含为各种移动设备、具有无线通信能力的服务网络，构成了移动计算环境。随着移动计算环境发展，支持多特征的嵌入式移动数据库系统成为当前数据库领域中的一个新的研究热点。
数据缓存是一种重要技术，可以提高数据的利用率和减少读取延迟，特别在低宽带和频繁断接的移动计算环境中显得特别重要。关于缓存一致性的维护问题，国内外已经进行了广泛深入的研究，其中缓存失效广播技术由于考虑到无线通信的不对称性，充分利用了带宽较宽的下行数据通道，而收到了众多研究人员的青睐。
由于移动数据库可以支持用户随时随地访问各种数据，因此将会成为未来信息社会中的主要技术之一。为了适应这一变化，世界上几家著名的大型数据库软件公司，如Oracle，Informix，Sybase等都纷纷推出了各自的移动计算解决方案和产品。我国在上个世纪九十年代对移动数据库就开始了研究，并取得了许多成果。中国人民大学已经成功研制出“小金灵”嵌入式移动数据库管理系统，并在很多行业进行
华中科技大学硕士学位论文
应用。长沙国防科技大学在这方面也取得了丰硕的成果。华中科技大学、东北大学、复旦大学、浙江大学、中国科学院软件研究所等单位也取得了许多成果。
1.4 本文主要研究内容及组织结构
1.4.1 论文的主要研究内容
针对嵌入式移动实时数据库客户端一致性问题，本文首先讨论了客户端的缓存技术，给出了缓存的描述和工作机制，总体上给出保持客户端缓存一致性的方法。提出了一种改进的基于异步广播的缓存失效策略，该策略主要是保持客户端缓存与服务器数据的同步更新，维护客户端与服务器的数据一致性。在MSS上设置代理保存所有客户端的失效消息，这样当客户端经过任意长时间期的断接后，重连时不需要丢掉整个缓存区，通过MSS上的失效消息来验证缓存数据的有效性，从而可以减少上行消息数量，提高系统响应速度。周期性的发送控制消息CM来保证事务等待提交的时间，从而减少事务执行的延迟时间，提高整个系统的性能。
1.4.2 论文的组织结构
本文共分六章来介绍研究内容。第一章为概述，介绍课题的研究背景及意义，对移动计算环境进行了评述，分析了嵌入式移动实时数据库的国内外研究现状。第二章讨论嵌入式移动实时数据库的系统模型及关键技术，关键技术主要介绍和分析了数据复制与缓存技术和数据广播技术。第三章就客户端的缓存技术进行了探讨，介绍了缓存的工作机制，总体上说明缓存是如何保持的一致性的。在第四章中，提出了一种改进的基于异步广播的缓存失效策略ASI。第五章给出ASI的原型系统实现及性能分析，主要与传统的同步的缓存失效方法进行实验分析比较。最后对全文的研究工作进行总结和展望。
华中科技大学硕士学位论文
2 嵌入式移动实时数据库的系统模型及关键技术
2.1 嵌入式实时数据库的系统模型
图2.1 移动实时数据库的系统模型
嵌入式移动实时数据库的目的就是有效地支持移动计算环境中的各种数据使用，满足在任意地点任意时刻访问任意数据的要求。移动实时应用的根本特性是其事务具有移动性和定时特性，数据具有定时限制[1]。在上述移动计算环境的基础上，建立一个嵌入式移动实时数据库的系统模型如图2.1。在系统模型中，移动数据库由两部分节点组成：
1) 固定部分：数据库服务器位于固定节点上，每个数据库服务器维护一个本地数据库LDB(Local DB)，服务器之间由可靠的高速网络连接在一起，构成一个传统意义上的分布式数据库系统。
在固定部分还有固定主机FH，可作为LDB的客户机。另外还有位置服务器位于各个MSS上，对单元中的客户的位置进行管理。
2) 移动部分：移动部分有移动客户端MC，它作为固定部分—分布式数据库的
华中科技大学硕士学位论文
客户，移动主机的CPU处理能力和存储能力相对于服务器来说非常有限，具有移动性。按CPU的处理能力，将MC分为两类，一类为具有一定数据处理能力的MC，在这类MC上，有一个RTDBMS，可以利用缓存或复制数据(Rep DB)进行数据库操作；另一类不具有数据处理能力，只是作为一个“哑终端”(Dumb Terminal)或I/0设备，必须借助它所在单元的数据库服务器进行数据处理。
移动计算以及其具有的特点对传统的分布式数据库技术提出了新的要求和挑战，一个理想的移动数据库系统应当实现以下四个目标：
1) 可用性和可伸缩性(scalability)：在避免系统不稳定性的同时提供可用性和可伸缩性。
2) 移动性(mobility)：允许MC在网络断接的情况下访问或更新数据库。
3) 可串行性(serializability)：支持满足可串行性的并发事务的执行。
4) 收敛性(convergence)：使系统总能收敛于一致状态。
对于嵌入式移动实时数据库的研究，目前主要集中在移动环境下事务模型、数据复制和缓存、数据广播、位置相关查询、移动客户机故障恢复、实时事务处理、实时故障恢复等方面。
在上述研究方向中，更为关注复制/缓存技术和数据广播技术的研究，因为这两项技术与客户端缓存的一致性问题紧密相关。下面介绍在这两个方面有的关键技术和研究成果。
2.2 嵌入式实时数据库系统的关键技术
2.2.1 数据复制与缓存
复制与缓存的主要目的是提高数据库系统的可用性、可靠性以及访问性能。传统的复制与缓存技术都是客户机和服务器之间是经常保持连接的，并基于这个前提来维护一致性。这在移动计算机环境中是不适用的，因为断接是移动计算机的一个显著特点。
文件系统复制与缓存技术的研究较深入，如下是一些代表：
1. Coda系统是第一个支持断连的文件系统[2],Coda系统主要负责确定移动用户
华中科技大学硕士学位论文
缓存哪些对象，如何保持缓存与服务器的同步。每个Coda客户机上都有一个缓存管理器Venus, Venus采用乐观缓存策略，它工作于三种状态：收集(hoarding)、仿真(emulation)和再集成(reintegration)。在保持连接时，Venus处于收集状态，它能够访问服务器上的数据，并收集在可预期的断接期间可能需要的数据。在断连时，Venus 进入仿真状态，此时它基本代理了服务器的作用，并将在缓存数据上的操作记录在日志中，最后在客户机重连时，Venus根据日志记录，将缓存数据与服务器上的数据重新同步，并对发生的各种操作冲突进行清除。
2. Honeyman等人在文献[3]中进一步将移动计算机的连接情况分为四种形式，即连接、弱连接、只读和断连，分别适用于网络带宽和可靠性从高到低的环境，针对每种连接状态，分别研究了相应的缓存策略。
3. Spy Utility是Tait等人开发的一种半自动化工具[4]。和Coda不同的是：Tait 希望在他们的关于文件预取的工作的基础上自动预测一个应用(而不是用户)的工作集[5]。
4. Seer系统[6,7,8]是自动预测收集数据，是基于寻找用户过去访问的文件之间的语义关系来确定应收集的数据，它的工作原理是建立在用户行为的语义局部性之上。文件被按照语义距离而捆绑在一起，语义距离的远近表明了它们之间关系的密切程度。
5. 文献[9]提出了低开销自动数据收集算法，它根据用户的访问历史来推测不同数据之间的逻辑关联，然后根据数据之间的关联程度把数据对象分成相互独立的组，再推断连时最有可能访问的簇。
6. Saying等人在文献[10]中把数据挖掘(data mining)技术引入到数据收集研究中来，并采用关联规则(association rules)来描述访问模式和指导预测将来访问的数据，它是一个与应用无关的通用自动数据收集算法，完全通过用户的访问历史来猜测将来的访问。
数据收集在数据库系统中变得非常复杂，有如下一些原因[11]：
1) 在文件系统中，收集的数据项的大小是文件，与之对应的是关系和类扩展(对面向对象DB)。但是，这样的粒度不太好，收集的单位越小(如元组/对象或者是元组
华中科技大学硕士学位论文
/对象的一部分)则越有意义和更好的性能。
2) 在数据库系统中依据过去的关系推断将来的依赖关系比在文件系统中推断依赖关系要困难。发现相关联的文件是容易的，因为它们有同构的组织。一般而言，同一目录下的文件关系比其它目录下的文件关系要密切。
3) 一个文件系统的用户通常仅需要有限的文件数据(整个文件系统的一小部分)就可以完成其任务。数据库的用户查询一个问题可能需要涉及大部分数据库，这意味着大量的数据必须收集以便支持断连操作。
移动数据库中复制与缓存技术的现有研究主要有：
1. 文献[11]提出了预测算法，通过分析某一些客户机过去查询的最好捕获数据的存取模型(这些片段很可能在断连时被存取)，总结这些片段的大小(收集片段的大小与移动计算机的Cache大小有关)。每个关系可以看成是一个垂直片段的联合(对每个属性而言)和同一时间内水平片段的联合(一组元组)。依据移动计算机过去存取的历史从每个关系中选择非常相关的垂直和水平片段，仅这些片段的交集将被收集。
分布式数据库中垂直分片段的算法是努力测量这些属性的亲近关系，以便放这些属性在同一垂直片段中。但文献[11]中提出的方法是找到通常是哪些属性一起存取，哪些不是一起存取，垂直片段就与这些属性一致，被看作收集单元。依据访问情况对片段进行记分和计算权重，最后依据权重来收集片段。
2. 在复制方面，传统的复制技术可以适用，但在某些应用中，由于关键用户的频繁移动而造成静态复制策略难以达到满意的性能，因而提出了对动态复制策略的需求。O.Wolfson在文献[12]中提出了动态复制的分布算法。在一个分布式系统中，读数据非常频繁时，就应该广泛的复制数据。这样可以提高本地的读命中机率，减轻服务器的负担；如果是写数据非常频繁时，就应当减少广泛复制的数据，否则就会降低写数据的速度和增大开销。该算法能够根据各个结点上数据项的读写模式的变化而动态地改变复制布局，使之分别在代价与时间上趋于最优化。但它们只能处理单一数据项的复制问题。
3. 文献[13]中对上述方法进行了扩展，采用滑动窗口算法，设滑动窗口中可以保存K个读/写请求，在K个请求中，如果读请求的数量大于写请求的数量，则就给
华中科技大学硕士学位论文
移动用户MC分配一个副本；结果写请求的数量大于读请求的数量，则就收回在移动用户MC的副本。因此，分配模式是依据读/写请求的次数动态改变，该文详细讨论了基于连通模式和基于信息模式下的开销。但他们仍只考虑对一个对象的复制，而且指定移动计算机与服务器是长期保持连接。
4. 文献[14]详细分析了数据复制技术在移动计算环境中应用时存在的问题。它们主要是：
1) Eager复制要保证所有节点的更新同步进行，但由于移动计算环境的频繁断连，因而Eager复制不宜采用。
2) 如果节点的数量增大n倍，则发生死锁的机率以n3增大。
3) 断连操作和信息延时意味着lazy复制需要频繁的重同步。
J.Gray和J.J.kistler等提出了两级复制(Two-tier replication)的概念[14]。两级复制机制以主副本更新复制协议为基础。它假设移动数据库系统由两类节点构成：一类是基结点，它们联接在固定网络中，每个基结点都保存数据库的一个复制(称为第一级复制)。另一类是移动节点，它们通过无线网络与基节点相连，在移动节点中也存有数据库的复制，称为第二级复制。
在移动节点上每个复制数据对象都保持有两个版本。一个是主版本，是从主节点得到的最新值；另一个是暂态版本，由本地暂态事务更新的对象值。相应的事务也被分为基事务和暂态事务。暂态事务对本地暂态数据操作，产生新的暂态副本，在连接到基节点后，暂态事务提交到基节点，产生基事务，以更新主副本值，使暂态副本固定下来。
暂态事务只能访问主节点是基节点或本身的数据对象，由暂态事务产生的基事务可能会执行失败，也可能产生不同的结果。如有不同的结果，只有该结果能够通过准则测试，那么就是可以接受的。如果由一个暂态事务生成的基事务失败了，系统将向该事务的结点及其用户发出该事务失败的通知及其失败原因。
5. 文献[15]针对移动计算环境的特点，将传统的数据复制技术与客户端缓存技术、数据广播技术结合起来，提出了一种移动数据库系统的三级复制体系结构(Three-Tier Re placation Architecture，简称TTR)。
华中科技大学硕士学位论文TTR体系结构由服务器级复制，空中复制，客户机缓存等三级复制机制构成。首先，服务器之间利用传统的复制技术，构成第一级复制，称之为“服务器级复制”；其次，服务器将经常被访问的热点数据组织起来，经由基站MSS向所有移动计算机MC广播，这实际上是在无线广播信道上做数据复制(只读的)，称之为“空中复制”，这是第二级复制；最后，MC利用本身的处理和存储能力缓存数据库中的部分数据，以便支持移动用户的断连操作，这就是第三级复制，称之为“客户机缓存”。
针对移动计算环境，设计了一种弱一致服务器级复制机制(Weakly Consistent Server Replication，简称WCSR)，支持客户应用提出不同的一致性要求(严格一致性与弱一致性)，并采用了基于应用语义的冲突推测与消解技术，提高了复制消解时的事务成功率。
6. 文献[16]中提出了一种新的数据复制协议。传统的复制机制能够提高数据的可用性和访问性能，但由于它的复杂性而远未能在商业软件中使用，其原因是实现复杂、扩展困难。为了解决复制理论和实际中的矛盾，有必要在正确性、容错性和效率等方面作出折衷，提出了基于组通信和并发控制相结合的思想。在组节点之间，提供了组维护、可靠信息交换和信息命令原语；在保证正确性方面，实行不同层次的隔离性和不同的容错层次，以不同的开销允许不同的故障行为，提高了高度的灵活性。
7. Acharga等人在文献[17]中依据广播环境的特点提出了一种实用缓存替换算法LIX，LIX算法是在LRU算法的基础上充分考虑了广播频率对缓存的影响，与LRU 算法相似，LIX算法也是采用栈结构，区别点在于，每个广播磁盘都对应有一个栈，LIX维护的是一组栈，而不是一个栈。每个缓存对象都被放入它所在的广播磁盘所对应的栈中。若该对象被命中，将其移到栈顶。当发生缓存不命中且缓存已满时，LIX算法只比较每个栈的栈底对象的LIX值，将其中LIX值为最小的对象将被替换出缓存。每次缓存替换时，LIX算法的计算量只是一个常数值。当单个移动客户机的访问概率和服务器广播调度中采用的概率分布相差较大时，LIX算法的性能就越明显。
华中科技大学硕士学位论文
2.2.2 数据广播技术
在一个无线单元内，从服务器到移动客户机的下行通信带宽一般要远大于从移动客户机到服务器的上行通信带宽，而且移动客户机从服务器接受数据的开销也远小于发送开销，因此在大部分场合，即使是处于断接状态的移动客户机也可以选择接收从服务器发送的下行广播信息。于是，服务器可以利用这种网络的非对称性，将数据库中被大多数用户频繁访问的数据(热点数据)组织起来，以周期性的广播形式提供给移动客户机访问，即数据广播。与传统的联机数据请求方式相比，这种数据广播技术具有以下优点：
1) 很好的可伸缩性：因为服务器广播数据的开销与接收广播的MC个数是无关的，因此它可以以很小的代价支持大量的MC同时访问数据。
2) MC可以不需要数据缓存，因此不再需要预测未来的数据请求。
3) 即使在断接时，也允许MC访问到最新数据。
4) 节约有限带宽：MC从数据广播中获取数据，可以避免或减少与服务器间的上行网络通信。
5) 便于发送新数据：服务器可以利用数据广播，将新产生的数据发送给MC，即使MC事先不知道这些数据的存在。
数据广播技术有着很好的应用前景，例如公共信息的发布(股市、交通、…)、军事应用(如美军GBS系统)等。数据广播的一个主要研究课题是：如何组织数据广播信道中的数据，使之适合于移动计算机访问？把这个问题称为数据广播的调度问题。目前，人们对数据广播技术的研究刚刚起步，主要研究各种数据广播的调度算法。衡量这些数据广播调度算法好坏的参数主要有两个[18,19]，它们是：
1) 访问时间(access time)：指从移动客户机提出数据访问请求开始，到客户机从数据广播中得到结果为止所需的时间。访问时间决定了移动用户查询的响应时间。
2) 调谐时间(tuning time)：指在完成一个访问请求期间，移动客户机保持接听广播的总时间。目前，移动计算机的设计都允许其在激活模式(active mode)与休眠模式(doze mode)之间切换，在休眠模式下，移动计算机几乎不消耗电源。而调谐时间决定了移动客户机的电源消耗，因为在不接听广播的时间里，移动客户机可以转入休
华中科技大学硕士学位论文
眠模式，此时消耗的电源相对于激活状态可以忽略不计。因为大部分移动客户机都是依靠有限的电池供电的，因此减小移动客户机的调谐时间也成为数据广播中的一个重要研究课题。
在移动计算环境中，基本的数据传播方式有两种：
1) “静态”模式：服务器按预定的内容进行数据广播而不考虑移动用户的需求。数据被服务器周期性的广播，移动计算机MC只能被动的接收数据，不能提出数据请求。该方法的优点是用户规模的可扩展性能好。通过合理的数据广播调度能够节省网络传输的带宽，也能够节省客户端因上传信息而花费的电能。
2) “动态”模式：如“按需”广播模式，分配给移动用户少量的上行带宽上传其需求，移动计算机利用上行链路提出数据请求，然后服务器按此需求动态组织数据并广播。该方法的优点是移动计算机能够按照自己的需要提出请求，而不是仅仅依赖于服务器的固定广播模式。但他的缺点如下：必须为移动计算机提供后备通道，用于向服务器提出请求；服务器连续不断的被移动计算机的请求所中断，在大量用户请求时，容易成为可扩展的瓶颈。
在实际应用中，也可以把广播模式和按需模式结合使用。优化数据广播调谐时间的研究包括[18] [20][21][22] [23]等。例如，美国的Rutgers大学在这方面作了一些有益的尝试，在该大学的移动计算研究项目DataMan中，Imielinski等人不仅详细讨论了在未来无线信息系统中数据广播的重要性与可行性[24]；而且初步研究了空中广播信道的数据组织方法[20,21,22]，提出了散列方法、柔性(flexible)索引、分布索引等结构，并对这些结构的访问时间、调谐时间进行了分析。但是。这些方法仍具有很大的局限性，如只讨论了对数据广播调谐时间的优化，忽略了访问时间的因素，造成数据广播因为加入了索引数据而访问时间过长等。
优化数据广播访问时间的研究包括[25][26][27][28][29]等。例如，美国Brown大学的S.Acharya等人对数据广播访问时间的优化进行了研究，他们在[25]中提出一种多盘广播(Multidisk Broadcast)机制。与Imielinski不同，他们的广播机制侧重于将数据组织成以不同周期广播的形式，即更有可能被大多数移动用户访问的热点数据的广播频次要高于其它数据；此外，这种多盘广播机制还考虑了客户机上的缓存问题，
华中科技大学硕士学位论文
利用预取缓存技术来进一步提高用户访问空中数据的性能。但是，Acharya 的多盘调度机制缺乏可操作性，其设置参数必须由手工确定，而且无章可循；而且，他们没有考虑数据广播的调谐时间优化问题，因此无法有效支持电源有限的小型移动计算机。李霖在文献[15]中提出了启发式多盘调度算法HMD ，它的基本思想是：首先给定盘数K ，然后启发式按照Zipf 分布，将所有数据项分配到K 个盘中，然而再利用i f 与i P 成正比这种关系作为启发信息，确定各盘的相对广播频率。
2.3 小结
本章首先对嵌入式移动实时数据库系统的系统模型进行了介绍，进而讨论了所涉及的关键技术，然后对数据复制与缓存技术和数据广播技术的研究情况进行详细了的介绍和分析。
华中科技大学硕士学位论文
3 移动客户端的缓存技术
通过数据收集，将事务存取的数据特别是经常存取的数据缓存在移动主机上，这样减少移动主机与中心服务器的通信，从而节省无线带宽。同时，在移动主机上缓存数据，使移动用户在断接时使用缓存数据完成事务处理，提高了数据的可用性。因此，在移动主机上缓存相关数据是移动环境中提高系统性能的手段之一。随着移动计算机硬件技术的发展，MC 的处理能力和存储容量都在迅速地增强，而客户机缓存技术可以用来充分发挥MC 的处理能力。本章将详细介绍缓存的工作机制，研究如何通过缓存减少事务访问服务器的次数和缓存如何来支持客户端的断接操作。
3.1 移动客户机缓存的子集描述
Keller 在文献[30]中提出一种基于谓词的缓存机制，它允许根据客户的查询操作，使用任意的SPJ(选择、投影、连接)谓词来定义客户机的缓存内容。但是，Keller 只在理论上对缓存的定义及维护进行了探讨，而没有涉及任何实现问题，因此是否具有实用性还难以确定。另外，实体化视图技术[31]也可以支持MC 建立一个数据库子集的本地备份，但是它不支持反向更新，即客户对本地缓存的更新不能反馈给服务器，因此也不适合用于MC 的缓存机制。在对MC 缓存的讨论中，更为关注的是缓存的工作机制和缓存一致性问题，因此暂时采用了文献[15]中一种简单的缓存子集描述方法，下面详细介绍。
采用的缓存描述方法是一种静态的子集定义方法，称作MC 缓存的CCD(Client Cache Description)描述或定义方法。设MC 需要缓存服务器数据库中的n 个关系，即R1，R2，R3，…，n R ，CCD 方法以每个关系为基本单位定义缓存的数据库子集，
即定义缓存集合为{‘1R ，‘2R ，…，‘n R }，其中‘i R 表示i R 在MC 缓存中的一个子集。
CCD 为每一个关系i R 指定一个或一组查询谓词，这些谓词只能作用在i R 上，可以是选取(select) 或者投影(project)，其中最多只能有一个投影谓词，而且其所指定的属
性集合中必须包括关系i R 的主键。在MC 的缓存集合中，一个缓存关系子集‘i R 中的
PI 实时数据库系统详细介绍 PI.实时数据库系统---详细介绍2010-08-20 11：50PI实时数据库系统(Plant Information System)是由美国OSI Software公司开发的基于C/S、 B/S结构的商品化软件应用平台，是工厂底层控制网络与上层治理信息系统连 接的桥梁，PI在工厂信息集成中扮演着特别和重要的角色。 PI实时数据库系统适用于电力、石油、化工、冶金、造纸、制药、水处理、食品饮料、通讯等各种生产流程企业的生产过程优化。 PI是全世界装机量最多的实时数据库系统，已成为OSI公司的标志产品。 美国OSI Software公司创建于1980年，总部设在加州San Leandro。在休斯顿、西雅图、克里夫兰设有分部，在美国的IL、FL、MO、MA、NY、NC等州设有办事处，在澳大利亚、新西兰、德国、新加坡设有办事处，全球范围有超过50 多个分销商，智网科技(杭州)有限公司是OSI Software公司在中国的指定分销商。同时，智网科技还利用自身的技术优势，在PI系统的平台上，二次开发了诸多的电厂应用子系统，使用户十分方便地进行电厂生产过程优化及安全运行 治理。 OSI Software公司与Microsoft、SAP、KBC等闻名公司保持着良好的合作 关系，PI的客户端产品中底层完全采用微软Windows技术，同时也将用户界面Windows化。迄今为止，PI的客户端模块以功能强盛、灵活、易用的特点在业 界一直保持着领先的地位。OSI Software公司还与世界上几乎所有的DCS/PLC 厂商保持着良好合作关系，这就使得PI与DCS/PLC的数据接口建立在坚实的基础之上。 PI实时数据库系统概述世界上众多的企业都熟悉到生产过程的实时数据与 历史数据是企业最有价值的信息财富，是整个企业信息系统的核心和基础。但是，假如生产现场缺乏数据，数据不完整或者不一致，以及历史数据丢失，都 将导致管理者对工厂的现状无法判断，给管理带来困难，严峻时甚至导致工厂 停产，发生事故等等。二十年来，OSI Software公司一直致力于实时数据库产 品的开发工作，使得PI系统成为世界上最优秀的实时数据库产品。
命令行进入SQLCMD: sqlcmd –s machineName\instanceName 使用数据库： USE db_name GO 删除数据库：（不能删除系统数据库） USE tempdb GO SELECT name,state_desc FROM sys.databases WHERE name=’db_name’ GO DROP DATABASE db_name1,db_name2,… GO 更改数据库文件 ALTER DATABASE db_name {ADD FILE
中国移动通信集团业务支撑系统－NG数据库安装配置 Version 0.2 ?中国移动通信集团信息技术中心 2010年1月18日
文档信息 文档变更记录 审核批准
目录 操作系统准备 (4) 创建dba、oinstall组 (4) 创建oracle用户 (4) 建立两节点信任关系 (5) 网络配置 (5) NTP配置 (6) 设备配置 (6) 环境变量配置 (7) 安装CRS 10.2.0.1 (7) 以root用户执行vipca (13) 安装Oracle DB 10.2.0.1 (20) 升级CRS 至10.2.0.4.0 (25) 备份Oracle Database 10.2.0.1的rawutl (25) 确认CRS 10.2.0.4.0升级结果 (32) 升级Oracle 数据库软件至10.2.0.4.0 (33) 确认Oracle 10g 10.2.0.4.0软件升级结果 (39) 使用DBCA创建数据库 (39) 使用10.2.0.1的rawutl 替换10.2.0.4.0的版本 (39) 口令加固 (43) 数据库相关补丁加载 (51) 数据库隐含参数和事件设置 (52) 归档模式调整 (52) 创建watch用户 (53) EM DBConsole配置 (54) 修改EM DBConsole端口从5000改为1158 (56)
操作系统准备 检查操作系统依赖补丁，参考Doc ID：169706.1 35936--->38949 36242--->38949 37185--->38949 35900--->38949 36248--->38544 36249--->38053 35936--->38949 后面是替代补丁 zwdb21[/]#show_patches |grep -e 38949 -e 38053 –e 38055 PHKL_38053 esdisk cumulative patch PHKL_38949 vm cumulative patch PHKL_38055 scheduler cumulative patch 创建dba、oinstall组 # /usr/sbin/groupadd –g 300 oinstall # /usr/sbin/groupadd –g 301 dba 创建oracle用户 # /usr/sbin/useradd -u 300 -g oinstall -G dba oracle # /usr/sbin/usermod -g oinstall -G dba oracle # passwd oracle zwdb21#[/]getprivgrp dba dba: zwdb21#[/]setprivgrp dba MLOCK RTPRIO RTSCHED zwdb21#[/]echo "dba MLOCK RTPRIO RTSCHED">/etc/privgroup zwdb21#[/]getprivgrp dba dba MLOCK RTPRIO RTSCHED zwdb21#[/]getprivgrp oinstall oinstall: zwdb21#[/]setprivgrp oinstall MLOCK RTPRIO RTSCHED zwdb21#[/]echo "oinstall MLOCK RTPRIO RTSCHED ">>/etc/privgroup zwdb21#[/]getprivgrp oinstall oinstall MLOCK RTPRIO RTSCHED
全球及中国实时数据库系统市场分析来源：计世网 一、2008年全球实时数据库系统市场规模突破5亿美元 上世纪八十年代，随着国外众多针对实时领域和数据领域进行数据融合的研究群体的显现，实时数据库那个新兴研究领域开始浮出水面。到上世纪九十年代，国外实时数据库开始大规模应用。随着应用的持续推广，国外实时数据库技术得到了持续的提升，显现了众多开发实时数据库系统的厂家，如美国OSI公司、美国INSTEP公司、GE-Fanuc公司、美国Won derware公司等，事实上时数据库产品广泛应用在电力、钢铁、化工等众多领域。到21世纪初期，实时数据库市场进展也大致趋于平稳。据美国软件与信息产业协会与汉鼎咨询的联合统计，以后5-10年间全球实时数据库的总体潜在市场容量为100亿美元，随着全世界越来越认识到实时数据库在工业及其他领域信息化建设中发挥的重要作用，目前全世界实时数据库市场规模也在加大，2008年的市场规模为5亿美元。 在上世纪九十年代，我国实时数据库市场一直被国外品牌所垄断，国内没有自主品牌的实时数据库产品。随着国家鼓舞进展软件行业政策的出台，以及国内企业对实时数据库系统的重视度持续提升、研究持续深入，国内实时数据库产品产生。到目前为止，国内实时数据库在理论和实践上均取得了专门大的进展，部分产品差不多可与进口品牌相比美。然而作为一个通用的产品开发和应用平台，国内可用的杰出的产品还不多，组态软件厂商提供的低端实时数据库仍旧大量充斥市场，中高端品牌比较有代表性的有上海麦杰科技openPlant、三维力控pSpace、中科启信Agilor等，高端市场目前仍旧被国外产品如PI、EDNA等所占据。 二、2008年中国实时数据库系统市场规模2.64亿元，石化、电力、钢铁三大领域占据绝对份额 依据中国机电一体化协会工业实时数据库分会与汉鼎咨询的联合统计，2008年，国内实时数据库销售总量近500套，当年市场销售额2.64亿元，估量2009年达到611套，较上年增长24.6%。以后4-5年我国实时数据库系统的总体潜在市场规模在17-25亿元。
移动通信网中的数据库（苏波、王芙蓉）摘要移动通信网有多种数据库，由于要对移动用户进行管理，它们与通常的数据库不同。文章分析了移动通信网数据库系统的技术特征。关键词数据库数据库管理系统移动性管理1数据库技术的发展现状数据库技术的发展经历了三个阶段。第一阶段，1969年IBM公司研制了基于层次模型数据库管理系统（IMS），并作为商品化软件投入市场，该系统至今还有其特定用户，技术还在继续发展。第二阶段从60年代到70年代初，美国数据库系统语言协会（CODAS YL）下属的数据库任务组（DBTG）对数据库的方案和技术进行了系统研究，提出了DBTG 报告。该报告提出了数据库系统的许多基本概念、方法和技术，成为网状数据模型的典型代表，奠定了数据库发展的基础。DBTG 的存取效率较高，系统研制较容易，但数据独立性差，用户使用不方便。目前一些实时性要求较高的专用系统仍采用网状模型。第三阶段，1970年IBM公司的E.F.Codd发表了基于关系模型数据库技术的论文“大型共享数据库数据的关系模型”，获得1981年ACM图灵奖。随着数据库技术和计算机软硬件水平的提高，近年来又出现了许多新的数据库技术，如实时数据库、主动数据库、内存数据库、分布数据库、面向对象数据库、多介质数据库及专家数据库等。分布式数据库是数据的集合，它在逻辑上属于同一个整体，但存放在不同节点。在分布式数据库中，每个节点都有自己的数据库管理系统（DBMS），具有高度的自治性，其位置对于用户而言是透明的，与集中式数据库相比，可靠性和灵活性更高。考虑到系统的性能和效率，分布式数据库往往把数据集的不同副本存放在不同节点，以减少网络传输的开销，但同时又增加了副本数据库更新操作所需的开销。因此对副本数据库存放策略进行研究，是分布式数据库设计的重要任务。传统的DBMS无法满足存取大量共享数据和控制信息的应用要求（如过程控制和网络管理等），这类应用的共同要求是DBMS能监视系统状态，无须用户干预就能调度相关任务，并使其满足定时和一致性等要求。因此人们提出了主动数据库的概念。主动DBMS扩展了以下功能：（1）用户可显式地定义想要监视的情形（事件和条件）；（2）系统能自动检测和评价出现的状态；（3）一旦定义的状态出现，即进行相应的工作。这些功能除了支持外部应用，还可实现或扩展DBMS本身的功能，如完整性及安全性控制等。实时数据库系统（RTDBS）是业务和数据都有定时特性或显式时间限制的数据库系统。系统的正确性不仅依赖逻辑结果，还依赖逻辑结果产生的时间。RTDBS是数据库和实时系统的结合，它集成两者的概念和要求，同时处理定时性和一致性。对RTDBS 而言，实时指的是能设置和处理“显式”的定时限制，即通过“识时协议”处理有关的截止时间或定时限制。随着计算机硬件技术的不断发展，动态随机存取存储器（DRAM）的容量越来越大，这无疑为计算机内存的不断扩大提供了硬件基础，但在并行数据库，后端机I／O瓶颈越来越突出，因此出现了内存数据库（MMDB），它将整个数据库或大部分热点数据存放在主存中，消除了I／O瓶颈。在传统的面向磁盘数据库DRDB中，数据库主备份位于磁盘，在MMDB中则位于主存。对不同的存储介质，DBMS采取的策略也各不相同。数据驻留内存，可以大部分或全部在内存中存取数据，缩短系统的响应时间，对于实时数据库系统有重要意义。2移动通信网的数据库移动通信网有多种数据库，这些数据库除了具有通常数据库的功能外（如数据的独立性、安全性、完整性、共享、并发控制、故障恢复等），还要满足严格的实时性要求。目前移动通信系统的数据库包括：归属位置寄存器（HLR）、拜访位置寄存器（VLR）、设备识别寄存器（EIR）和鉴权中心（AUC）。在现有蜂窝通信系统中，支持终端和用户移动性的主要是HLR和VLR。HLR是移动通信系统的中央数据库，存放签约用户的所有数据信息，包括鉴权数据、位置数据、基本业务数据和补充业务数据等。VLR存放的大部分用户数据来源于HLR，它作为HLR数据库的副本，与HLR中的数据保持一致。这种分布式数据存放降低了网络负荷，减少了访问时延，是移动通信网的显著特征。不论是HLR还是VLR，它们的主要功能都是实现移动应用部分的协
数据库基础知识 （A）1．数据库（DB）、数据库系统（DBS）、数据库管理系统（DBMS）三者之间的关系是（）。 A）DBS包括DB和DBMS B）DBMS包括DB和DBS C）DB包括DBS和DBMS D）DBS就是DB,也就是DBMS （C）2．数据库DB、数据库系统DBS、数据库管理系统DBMS之间的关系是（）。 A）DB包含DBS和DBMS B）DBMS包含DB和DBS C）DBS包含DB和DBMS D）没有任何关系 （B）3．DBMS的含义是：（）。 A）数据库系统 B）数据库管理系统 C）数据库管理员 D）数据库（A）4．英文缩写DBMS代表含义是（）。 A）数据库管理系统 B）数据库定义语言 C）Visual FoxPro D）数据库操作语言（A）5．数据库系统中对数据库进行管理的核心软件是（）。 A）DBMS B）DB C）OS D）DBS （C）6．数据库系统的核心是（）。 A）数据库 B）操作系统 C）数据库管理系统 D）文件 （B）7．VFP支持的数据模型是（）。 A）层次数据模型 B）关系数据模型 C）网状数据模型 D）树状数据模型（A）8．Visual FoxPro 6.0支持的数据模型是（）。 A）关系数据库模型 B）网状数据库模型 C）线性数据库模型 D）层次数据库模型（D）9．用数据二维表来表示实体及实体之间联系的数据模型称为（）。 A）实体–联系模型 B）层次模型 C）网状模型 D）关系模型 （C）10．Visual FoxPro 6.0是一种关系型数据库管理系统，所谓关系是指（）。 A）各条记录中的数据彼此有一定的关系 B）一个数据库文件与另一个数据库文件之间有一定的关系 C）数据模型符合满足一定条件的二维表格式 D）数据库中各个字段之间彼此有一定的关系 （C）11．关系型数据库管理系统的关系是指（）。 A）各条记录中的数据彼此有一定的关系 B）一个数据库文件与另一个数据库文件之间有一定的关系 C）数据模型符合满足一定条件的二维表格式 D）数据库中各个字段之间彼此有一定的关系 （B）12．扩展名为.dbf的文件是（）。 A）表单文件 B）表文件 C）数据库文件 D）项目文件 （C）13．在下面的数据类型中默认为.F.的是（）。 A）数值型 B）字符型 C）逻辑型 D）日期型 （B）14．在Visual FoxPro中，存储图象的字段类型应该是（）。 A）备注型 B）通用型 C）字符型 D）双精度型 （C）15．在VFP中，具有固定字段长度的字段类型包括（）。 A）日期型、备注型和数值型 B）字符型、逻辑型和备注型 C）日期型、逻辑型和备注型 D）日期型、逻辑型和字符型 （D）16．已知一个字段的宽度为8，则此字段的类型不．可能是（）。 A）数值型 B）日期型 C）字符型 D）备注型 （A）17．假设表文件TEST.DBF已经打开，要修改其结构，可使用的命令（）。 A）MODI STRU B）MODI COMM TEST C）MODI DBF D）MODI TYPE TEST （B）18．MODIFY STRUCTURE命令的功能是：（）。 A）修改记录值 B）修改表结构 C）修改数据库结构 D）修改数据库或表结构
MES 系统实时数据库的设计与实现 内容摘要:大连石化公司的生产运行系统 (MES 采用了 Honeywell 公司软件包实现的, PHD 实时数据库是生产运行系统(MES 的基础。本文介绍了 PHD 实时数据库的结构设计, 通过标准的 OPC 接口技术与 PHD 的 Buffer/Shadow技术结合完成了数据采集,满足了生产运行系统(MES 的总体目标。 关键词:生产运行系统(MES 、 PHD 实时数据库、集散控制系统(DCS 、 OPC 接口 1、前言 中国石油为了加快各业务领域的信息化建设, 2004年,生产运行系统(MES 列入股份公司年度信息技术项目计划, 最后选择了大连石化公司为试点单位, 开始进行试点实施工作。目前中国石油生产运行系统(MES 已经进入了第三期推广中,预计2009年底完成推广,大连石化公司试点的 MES 系统已于 2005年 12月份正式上线运行,目前运行稳定,为公司信息化建设奠定了基础。 2、 PHD 实时数据库的开放性 现代化炼厂大量采用了 DCS 等自动化仪表及控制设备进行生产过程、公用工程、罐区等自动化控制。 Honeywell 公司的实时数据库软件包具有与这些常用设备的接口和数据采集能力,而且该软件包具有接口软件的开发工具,以便为特殊设备开发接口。同时,还能采集非连续的数据,如实验室的分析数据,物料的移动数据等。PHD 实时数据库最终是供用户或应用程序使用的, PHD 实时数据库为用户提供了与外界进行数据传输的途径:API 函数库、 OPC 接口、 ODBC 和 SQL 接口、Automation OLE Server以及 ActiveX 控件等接口方式。 3、大连石化公司 PHD 数据库的设计方案 1 PHD 实时数据库设计目标 PHD 实时数据库应用平台不仅可以管理实时数据,还能进行事件信息、事务性数据和应用数据的管理,分别将相关测量值存放于过程实时数据库;将操作变化、报警信息、过程变化等事件存放于事件数据库;将物料移动记录、化验室分析数据、
实时数据库系统选型 目前国内外实时数据库分为四种类型：一种是国外传统实时数据库、国外组态软件供应商实时数据库、国内传统实时数据库和国内组态软件供应商实时数据库，下面分别介绍以上四种类型的实时数据库： （1）国外传统实时数据库包括： a. OSI公司的PI( Plant Information System ) b. Aspen公司的IP21( InfoPlus.21 ) c. Honeywell公司的PHD( Process History Database ) d. Instep公司的eDNA(enterprise Distributed Network Architecture) PI在国内广泛应用于电力行业，它采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间；IP21和PI一样属于正宗的实时数据库软件，价格和PI差不多，比较昂贵，IP21在中石油、中石化内部得到了广泛使用；由于Honeywell占据了化工行业DCS大部分份额，因此PHD在化工行业使用得也比较广泛，PHD在内部使用了Oracle关系数据库； 以上三种实时数据库均为二十世纪末推出来的传统实时数据库，由于在电力行业占垄断地位的PI价格居高不下，Instep eDNA凭借价格优势进入了电力行业，逐渐拥有了一定的客户，因此目前大型电力企业仍然偏爱OSI PI，不少中小电力企业则选择了eDNA。 特点：价格高、实时数据库包含实时数据库及其它配套软件。 （2）国外组态软件供应商实时数据库 a. Wonderware公司的Historian( 原InSQL) b. GE Fanuc公司的iHistorian c. Rockwell公司的RSSQL d. Siemens公司的SIMATIC-IT-Historian 由于Wonderware的组态软件Intouch在国内工控业界的普遍使用，尤其在钢铁行业的广泛使用，因此Wonderware Historian(原InSQL)在钢铁行业占有较大的市场，Wonderware Historian在内部使用了MS SQL Server关系数据库,相对前三种实时数据库，Wonderware Historian进入实时数据库市场较晚，相对易学
说到这个问题，基本上有人就会想到三个问题： 1，什么是系统数据？ 2，为什么要移动系统数据库？ 3，移动系统数据库我们可以用附加和分离，为什么还要单独拿出来说呢？ 对于这三个问题我一个一个讲吧，也算是自己做个笔记。 1，什么是系统数据？ 所谓系统数据库就是我们在装SQL Server之后，系统自带的数据库(这样的回答是不是很白痴^_^). 如果你装SQL Server2005或2008在打开一个SQL实例后，就会看到一个数据库--->系统数据库文件夹，里边就是系统自带的数据库，如图： 对于每一个系统数据库，这里我先用简单的语言说一下: 1)，master: 这个数据库是全局数据库，它包含一些系统表，权限分配，用户帐号设置，当前数据库配置信息以及关于磁盘空间，文件分配等信息。所以在执行诸如用户帐号设置，权限分配和改变系统配置信息后都要备份此数据。所以在这里强烈建议,不仅要经常备份自己的数据库，还有备份此数据库，虽然不像备份自己数据库那样那么频繁。至少半个月或一个月备份一次此数据库。 在这里还有专门的一个数据库大牛讨论过是否应该备份此数据库：SQL SERVER –Backup master Database Interval – master Database Best Practices 2)，model: 这个数据库只是一个模板数据库，我们在创建任意的一个数据库的时候，都是复制此数据库为新数据库的基础，如果希望每一个新的数据库都含有某些对象或者权限，
可以把这个对象或权限放在此数据库中，新创建的新数据库都会继承此数据的新对象或权限，并且拥有这些对象或权限。 3)，msdb: 作者原话：SQL Server代理服务器会使用该数据库，它会执行一些列如备份和复制任务的计划好的活动。Service Borker也会用到该数据库，他为SQL Sever提供队列和可靠消息传递。当我们不在该数据库执行备份或维护任务时，通常可以忽略该数据库。在SQL Server2005之前，实际上是可以删除该数据库的,只后SQL Server 仍然可用，但不能在维护任何备份历史了，并且不能够在定义任务，警告，工作或者建立复制，不过因为默认的msdb数据库非常小，建议即使用不到也不要删除它。 4)，tempdb: 该数据库说白了，就是一个中转站或数据寄存站，用户显示创建的临时表，在查询处理和排序时内部所产生的中间结果的工作表，维护用的快照等，都会用到此数据库，与其他数据库所不同的是，在每次SQL Server实例重启之后，都会重建而不是恢复. 所以我们在其中创建的所有对象和权限在下次重启SQL Server时都会全部丢失。 但是我们也不能忽略此数据库，因为tempdb的大小和配置，对优化SQL Server的功能和性能来说很重要。 对tempdb数据库，还要多说几句，虽然在tempdb每次被重建时，它会从model 数据库继承大多数的数据库选项，但是tempdb却不会从modeldb数据库中复制其恢复模式，因为它总是使用简单恢复模式。另外，tempdb是无法删除的，也不用备份。 2，为什么要移动系统数据库？ 我们在安装SQL Server后默认的这些系统数据库都会放在C:\Program Files\Microsoft SQL Server\MSSQL10.MSSQLSERVER\MSSQL\DATA此文件夹下，一般的都不很大，为什么我们还有移动他们呢？ 在没有实践管理服务器之前，我也没有这个想法，但是我发现我的服务器C盘一直都在增加，或者万一重装系统，我设置的数据库选项，以及用户账户设置都要重新设置，所以就有了这个想法。 还有一点就是作为重新布置计划或安排好的维护操作的一部分，我们也许需要移动系统数据库。 3，用附加和分离就可以，为什么还要单独说呢？ 回答这个问题之前，我们在看一张图
探索大数据和人工智能 1、2012 年7 月,为挖掘大数据的价值,阿里巴巴集团在管理层设立()一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台。 A 首席数据官 B. 首席科学家 C. 首席执行官 D. 首席架构师 2、整个MapReduce 的过程大致分为Map 、Shuffle 、Combine 、()? A. Reduce B. Hash C. Clean D. Loading 3、在Spak 的软件栈中,用于交互式查询的是 A. SparkSQL B. Mllib C. GraphX D. Spark Streaming 4、在数据量一定的情况下, MapReduce 是一个线性可扩展模型,请问服务器数量与处( )理时间是什么关系? A 数量越多处理时间越长 B. 数量越多处理时间越短 C. 数量越小处理时间越短 D .没什么关系
5 、下列选项中,不是kafka 适合的应用场景是? A. 日志收集 B. 消息系统 C. 业务系统 D. 流式处理 6、大数据的多样性使得数据被分为三种数据结构,那么以下不是三种数据结构之一的是 A. 结构化数据 B. 非结构化数据 C. 半结构化数据 D. 全结构化数据 7、下列选项中,不是人工智能的算法中的学习方法的是? A. 重复学习 B. 深度学习 C. 迁移学习 D. 对抗学习 8、自然语言处理难点目前有四大类,下列选项中不是其中之一的是 A. 机器性能 B. 语言歧义性 C. 知识依赖 D. 语境 9、传統的机器学习方法包括监督学习、无监督学习和半监督学习,其中监督学
习是学习给定标签的数据集。请问标签为离散的类型,称为分类,标签为连续的类型,称为什么? A. 给定标签 B离散 C. 分类 D. 回归 10 、中国移动自主研发、发布的首个人工智能平台叫做() A九天 B. OneNET C. 移娃 D. 大云 11 、HDFS 中Namenodef 的Metadata 的作用是? A. 描述数据的存储位置等属性 B. 存储数据 C. 调度数据 D. 12 、电信行业的客户关系管理中,客服中心优化可以实现严重问题及时预警,请问是用的什么技术实现的? A 大数据技术 B. 互联网技术 C. 游戏技术 D .影像技术 13、随着闭源软件在数据分析领域的地盘不断缩小,老牌IT 厂商正在改变商业模式,向着什么靠拢?
移动数据业务管理信息系统数据库设计书 1 引言 1.1 背景 随着数据业务的不断发展及市场竞争形式的不断变化，现有的业务管理方法已经不能满足工作的需求，加强业务管理成为急待解决的问题。 在数据业务发展的整条生产链中，数据中心起到的是承上启下、融会贯通的枢纽作用，然而目前的现状是数据中心与代理商SP 之间，数据中心与客户经理营业部之间，数据中心与集团客户部之间，及数据中心内部各班组间没有一套统一的业务管理平台。造成数据中心与各部门的业务办理及沟通的途径多达三种以上，象数据中心与代理商间目前还没有一个固定的沟通途径。这大大制约了业务发展的进度、沟通的畅通和信息的及时共享。 《沈阳移动数据业务管理信息系统》的开发建设将全面解决以上所述的问题，在数据中心、集团客户部、营销单位、代理商之间通过建立统一的系统平台及开发相应的业务子系统，消除业务发展管理瓶颈，规范业务流程，实现信息共享。 1.2设计原则 先进性和适用性相结合 在系统设计上，首先应当具有前瞻性。在保证系统经济性的前提下整个软、硬件系统的适度超前性，以确保在较长的时间内保持现系统的先进性、政府的良 好形象，使投资充分发其效率 系统采用当今先进和成熟的 技术，如数据库技术、网络技 术、分布式开发技术等。应当充分考虑到在未来若干年内 发展的需求，技术上保证在相当长的一段时间内（5-10年）不落后。与此同时，还应当结合沈阳移动公司的的实际情况，在保证实现系统建设目标概要设计说明书 沈阳维世达科技股份有限公司 本设计书包括项目功能概要设计和数据库设计 2008-04-23
的前提下，尽量选择较高性能价格比技术和产品。 ?合理性和实用性相结合 结合实际的沈阳移动公司中业务处理流程以及业务管理工作流程，通过对实际业务流程以及需求的分析，设计结构合理、功能实用、符合实际业务需要的系统。系统的设计在运行环境、使用操作等方面以实用为主，以方便用户使用和维护为出发点。系统在产品的选择上，采用了国际上广泛采纳的、主流的、支持开放标准的操作平台、体系结构以及编程方法。 ?开放性与标准性相结合 从系统架构到软件体系结构，都应充分考虑系统的开放性。以模块化设计和基于组件的多层体系结构保证系统的开放性和灵活性。系统建设采用的软件平台、数据标准、开发技术应符合公认的工业标准，符合国家、地方和有关标准与规范，系统分析、设计与实现采取开放路线，遵循国际软件工程的标准、规范，并尽可能采用国际主流产品，以确保系统集成的可行性、良好的可扩充性。采用标准的数据描述语言以及标准的通信协议，适应以后的数据交换标准以及系统间互连的标准协议等。 ?易维护性和扩展性原则 系统要具有较强的易维护性和扩展性，以确保在更长的时期内保系统技术领先地位，适应现代信息技术高速发展，为此我们将全面采用组件化三层结构或多层结构。可根据实际情况对系统硬件和软件进行灵活地配置和组合，能方便地进行功能的调整以及系统的升级、扩展，以适应业务的不断发展和更新。同时，系统的升级要充分考虑与现有其它应用系统的数据接口问题，尽可能保证系统有更长的生命周期。 ?安全性和可靠性原则 系统设计应遵循经济性原则，如果降低每个用户点的成本，整个系统的成本将大为减少。实行基础设施（如网络设备）等一步到位，而计算机硬件和移动终端等可以从实际出发，注重实用性和响应速度，节省资金成本。 安全性对于分布式系统来说很重要，从身份验证到资源授权访问再到数据的安全性。从操作系统的安全性、访问控制、数据的完整性以及业务层的安全机制要考虑整个系统的安全、可靠地运行。 服务器系统应当建立足够的冗余和后备机制，确保系统全天候服务。本系统将采用具有高可用性的多层服务器群集技术，实现负载均衡和热备份，确保系统具有高性能、无单点故障的特点。 ?经济性原则 系统建设要求在实用的基础上做到最经济，以最小的投入获得最大的效益。在硬件和软件配置、系统开发和数据库建立上都充分考虑投入和经济效益。在充分考虑到保证系统整体及各组成部分的功能和性能要求的前提下，最大限度的保护各分系统现有的投资和技术资源，并对这些资源加以有效的利用。各业务管理信息系统将在现有软件系统的基础上，根据业务管理要求和现有软件的生命周期，决定系统是否重新开发或继承使用。
2012.No10 0 塔底压力（MPa）: 0.08塔顶温度（℃）： 75出塔气体CO2%（V）： 99.8 3.3 工艺流程说明 根据松南气田气源条件和净化度要求，结合MDEA技术特点，脱碳工艺决定采用部分再生工艺。 来自集气站分离器的原料天然气，自下部进入吸收塔，在塔内与自上而下流动的MDEA溶液逆流接触，原料天然气中大部分CO2被MDEA溶液脱除，湿净化天然气由吸收塔塔顶出来经冷却分离分水后，至下游天然气脱水装置进行脱水处理；吸收塔塔底出来的MDEA富液经能量回收后进闪蒸塔闪蒸出溶解烃后，从再生塔的上部进塔，在再生塔内自上而下流动，经减压解析出吸收的CO2，并在再生塔中间经蒸汽加热，使之维持溶液温度。由再生塔塔底出来的MDEA贫液经冷却后，再次由贫液泵送入吸收塔上部，完成溶液的循环流程，为保持再次循环溶液的清洁，约15%的富液进行溶液过滤清除杂质。 从闪蒸塔闪蒸出的烃类气体，经冷却分离水分后，送燃烧系统。 为维持系统水平衡，系统回流液及补充软水由补液泵送回再生塔底部。 3.4 主要工艺控制要求 （1）入吸收塔贫液流量：185-390m3/h；（2）入吸收塔贫液温度：70℃ ；（3）MDEA贫液中酸气含量不大于22L酸气/L溶液；（4）再生塔顶压力：0.06Mpa。可以通过调节溶液泵流量、循环水量、蒸汽流量等方法进行调整。 3.5 工艺流程图 脱碳系统工艺流程图见图3-1 4 结论 通过对各种脱碳方法的比较，可以看出MDEA法是松南气田天然气脱除CO2的最佳选择，此工艺具有以下优点：①CO2脱除率高，最高可脱除至0.1%，很容易满足工艺要求；②可同时脱除硫化物；③溶液的吸收能力强；④热能耗低；⑤溶剂损失少。 参考文献 [1]张学元, 邸超, 雷良才. 二氧化碳腐蚀与控制. 北京: 化学工业出版社, 2000. [2]张宏伟. MDEA溶液脱碳工艺的应用. 小氮肥设计技术 VOL.26 NO.2,2005 [3]冯叔初.《油气集输与矿场加工》中国石油大学出版社 东营 P397-399 摘 要 随着智能移动终端的普及和移动计算技术的发展，人们对移动数据实时处理和管理要求的不断提高，移动数据库逐步走向应用，嵌入式移动数据库也体现出其优越性。本文从嵌入式移动数据库的概念、特点、系统结构和关键技术等几个方面进行了分析，最后指出嵌入式移动数据库的具体应用方向。 关键词 嵌入式 数据库 移动计算 事务处理 随着移动通信技术和网络技术迅速发展，加之移动计算机和移动通信设备的大量普及以及网络系统的完善，许多计算节点可以在移动过程中与网络建立连接。这中间，嵌入式技术就已经在人们的生活中得到广泛应用,移动计算更是给人们的生活带来了极大的方便。数据库技术已经发展到一个新的领域——嵌入式移动数据库(EMDB)。 1 嵌入式移动数据库的概念 嵌入式系统是以应用为中心,以计算机技术为基础,并且软硬件可裁剪,适用于应用系统对功能、可靠性、成本、体积、功 浅谈嵌入式移动数据库的研究与应用 孟立凡 李 铮 （中北大学） 耗有严格要求的专用计算机系统。它一般由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户的应用程序等四个部分组成,用于实现对其它设备的控制、监视或管理等功能。 移动计算是随着移动通信、互联网、数据库、分布式计算等技术的发展而兴起的新技术。移动计算技术将使计算机或其它信息智能终端设备在无线环境下实现数据传输及资源共享。它的作用是将有用、准确、及时的信息提供给任何时间、任何地点的任何客户。这将极大地改变人们的生活方式和工作方式。移动计算环境比传统的计算环境更为复杂和灵活。典型的移动计算环境有:(1)移动用户+传统工作站+传统有线网络。(2)智能计算设备+调制解调器+电话网络。(3)智能计算设备+无线网络。 2 嵌入式移动数据库的特点及其系统结构 2.1 嵌入式移动数据库的特点 移动数据库的计算环境是传统分布式数据库的扩展,它可以看作客户端与固定服务器节点动态连接的分布式系统。因此
RtPM实时性能管理 PI系统 技 术 白 皮 书 PI中国技术支持中心 Powered by
目 录 前言 (3) 2 4 1 PI 系统的作用 (4) 1.1 PI 数据库系统帮助企业实现从数据到信息，从信息到生产力的转换............................4 1.2 PI 数据库系统弥合了业务控制与业务管理间的信息缺口...............................................4 1.3 PI 数据库系统加速了用户的投资回报...............................................................................4 1.4 PI 数据库系统的安全保障体系...........................................................................................5 PI 系统的优势：专业化、使用灵活和技术领先............................................................................6 3 PI 系统技术简介.. (8) 3.1 PI 通用数据服务（Universal Data Server ）........................................................................8 3.2 UDS 特性 ─ PI 数据储存（PI DataStorage ）...................................................................8 3.3 UDS 特征 ─ PI 模型数据库（PI Module Database ）.......................................................9 3.4 PI 接口（PI Interfaces ）.......................................................................................................9 3.5 PI 应用服务（PI ServerApps ）..........................................................................................10 3.6 PI 过程模板（PI ProcessTemplates ）..............................................................................13 3.7 PI 高级计算引擎（PI Advanced Computing Engine ）（简称 PI ACE ）.........................13 3.8 PI 图形显示界面（PI ProcessBook ）................................................................................14 3.9 PI 数据连接（PI Datalink ）.............................................................................................14 3.10 Sigmafine ............................................................................................................................15 PI 系统保护数据的安全性..............................................................................................................16 5 PI 开发环境......................................................................................................................................17 6 PI 技术服务协议（PI TSA ） (18)
“人类很多行为遵循一些统计规律，在这个意义上人类93%的行为是可以预测的”，via巴拉巴西《爆发》。 “腾讯正将开放战略推向移动互联网”，这是小马哥在2012移动开发者大会上传递出来的信息。微信，腾讯目前最成功的移动互联网应用，也是互联网历史上增长最快的新软件，号称中国第四大运营商，它在这个战略中将会扮演什么角色，起到什么作用呢? 我的看法是如果QQ和Qzone是腾讯pc端的大数据开放平台，那么微信将成为腾讯移动端的大数据开放平台。 还记得一个月前微信团队宣布微信用户数突破两亿，当时中国智能机用户数2.9亿，也就是微信已经覆盖了近7成用户，业界在惊呼羡慕之余也在关注微信未来发展道路，是打造一个精准营销的媒体平台，还是做一个闭环的电商平台，或者兼而有之? 时间过去一个月，微信公众账号已经暂停了认证，小戴同学的微信会员卡推广之路也是路漫漫兮汝将上下探索，因此对于微信的商业化探索很多人提出了质疑，小马哥9月份在互联网大会上提到的通过微信普及二维码，布局O2O的目标还能实现么?我也抱着怀疑的态度，微信虽然有开放平台，但是那些接口只是浅层次的开放，无法满足第三方开发者的需要，也就不具有很高的价值，但是这次小马哥已经明确放出风声，将逐步测试开放QQ的关系链，甚至有可能是微信的关系链，这让我非常期待，依靠着庞大的用户数据为基础，用开放的心态做平台，微信的潜力绝对是可以被挖掘的，或者说和新浪微博真正的竞争从现在才开始。 先说说大数据，这可是自云平台后最热的概念了，随着社会化媒体的兴起，针对互联网用户数据的分析、营销、挖掘产品越来越多，大部分是在为企业服务，或者用来做自身产品推广，比较经典的案例就是美丽说、蘑菇街，而最近走红的“啪啪”更是依靠着新浪微博的用户关系迅速发展用户，每天达到上万的下载量。以上的大数据主要还是来源于pc互联网上。那么在移动互联网的大数据呢?
工业实时数据库KingHistorian功能及案例 北京亚控科技发展有限公司
目录 一．工业库KingHistorian主要特性 (3) 1. 性能参数及对比 (3) 2. 变量数值与时间戳的高分辨率 (4) 3. 更加丰富的数据类型 (4) 4. 高效的数据压缩算法 (4) 5. 强大的计算引擎 (4) 6. 事务、复制、DML命令和版本跟踪 (4) 7. 功能强大可视化的管理和数据分析工具 (5) 8. 支持多个节点同时运行各种接口类型的数据源 (5) 9. 开放的数据访问接口 (5) 10. 开放的变成借口和开发工具包 (6) 11. 全面的本地化（国际化）语言支持和时区 (6) 12. 良好的安全性，提供严格的用户认证、权限管理和审计手段 (6) 13. 高可用性、高容错性（健壮性）和高可靠性，支持双机冗余配置 (6) 14. 良好的集成能力、伸缩性和可扩展性 (6) 15. 分布式客户机/服务器体系结构，跨越所有支持TCP/IP的网络 (6) 二．案例介绍 (6) 1. 煤矿企业综合自动化系统 (7) 2. 台湾中港泵站监控系统 (10) 3. 上海白龙港污水处理长污水处理系统 (14) 4. 奉贤排水运营中心远程监控系统 (15) 5. 三一重工实时数据库项目 (18) 6. 浙江盾安人工环境客户服务系统 (20) 7. 上海青草沙水原地工程5号沟部分 (23)
工业库KingHistorian主要特性 1)性能参数及对比?： 存储速度：每秒可存储（插入）超过300,000个输入值； 检索速度：单点检索每秒查询多达100,000条记录；并发检索每秒查询多达20,000条记录； 数据点数：单台服务器可最多存储1，000,000个数据点的历史数据； 数据容量：可以保存长达数月甚至数年的历史数据保存和归档，最长保存10年历史数据，数据文件占有的磁盘空间可高达几十TB； 并发客户：支持最多256个并发客户同时存储和检索实时及历史数据； 三一集团测试项目：测试数据60万点，数据量240亿条记录（客户半年的真实数据3万多点，207万条关系记录进行数据迁移，复制20份）。 ?数据迁移过程迅速、稳定，迁移数据完全正确，单采集器平均插入速度为158,736条/s，，工业 库平均插入速度为3,046,220条/s。 ?测试数据查询5万条记录，2秒以内完成；30万条记录，5秒以内完成；200万条记录，14秒 完成，1900万条记录，240秒完成。 ?并发测试300-500客户端，测试插入、查询，性能稳定。 与PI性能的对比： 2)变量数值与时间戳的高分辨率?： 时间戳分辨率：毫秒 整型变量：64位 模拟变量：双精度（64位） 3)更加丰富的数据类型?：