当前位置：文档之家 › 基于实时数据库的有损线性压缩算法研究与改进 (1)

基于实时数据库的有损线性压缩算法研究与改进 (1)

  • 格式：pdf
  • 大小：325.26 KB
  • 文档页数：6

第32卷第7期2011年7月微计算机应用MICROCOMPUTERAPPLICATIONSVol.32No.7Jul.2011

基于实时数据库的有损线性压缩算法研究与改进王君（金陵科技学院南京211169）摘要：首先对常见的实时数据库数据有损线性压缩算法原理进行了讨论，然后提出了一种新的压缩算法———“双旋转门”压缩算法，最后对各个算法的数据压缩能力进行了详细的对比，结果表时该算法与国外实时数据库的专利算法在数据压缩能力达到同样水准。关键词：有损压缩旋转门实时数据库压缩率

ResearchandImprovementofLossLinearCompressionAlgorithmsintheReal－timeDatabase

WANGJun（JinlingInstituteofTechnology，Nanjing，211169，China）Abstract：First，somefamiliarlosslinearcompressionalgorithmsinthereal－timedatabasearediscussedinthispaper.Thenanewcompressionalgorithmnamed‘doubleswingdoors’isbroughtforth.Thecompressionperformanceofallalgorithmsiscomparedatlast，andtheresultisthatthenewalgorithmandproprietaryalgorithmsofforeignreal－timedatabasesachievethesamelevelindatacom-pressionperformance.Keywords：losscompression，swingdoor，real－timedatabase，compressionratio

当前流程行业中需要在生产过程中采集数据点数通常有几千到十几万，数据采集间隔要达到秒级，数据量很大。这些信息对管理层及时了解生产现场的实时情况、实现上层信息系统与底层控制系统的集成都具有重要意义［1］。传统关系型数据库管理生产过程数据还存在占用空间大、存取速度慢等不足［2］。如何能

在如此多的信息中保留有用的数据，一直困扰着我们，直到实时数据库技术的出现。实时数据库RTDB（Re-al－TimeDataBase）系统是数据库与实时系统相结合的一种新型数据库，RTDB系统与普通商用数据库系统

不同［3，4］。其一个重要特性就是实时性，包括数据实时性和事务实时性。电厂厂级实时监控系统中，RTDB

起到了“承上启下”的核心作用［5，6］。而压缩技术又是RTDB的关键技术之一。

当前实时数据库系统用到的压缩算法分为三类：有损压缩、无损压缩以及结合有损和无损压缩的二级压缩。无损压缩以eDNA实时数据库为代表，采用霍夫曼压缩算法，PC机上常用的压缩软件，如WinRAR，也采用无损压缩算法。而有损压缩，在一定的误差要求范围内仅保存少量点，其他时刻的值可通过线性插值算法快速还原，代表就是PI的旋转门算法。本文仅对常见实时数据库的有损线性压缩算法进行研究，并提出一种不同的算法。

1有损线性压缩算法讨论

典型的有损线性压缩算法，包括工业标准的死区压缩算法、PI的旋转门算法，后文对其进行说明。由于本文于2011－05－05收到。微计算机应用2011年PI旋转门算法的专利限制，其他的实时数据库厂家也提出了自己的旋转门算法。1.1工业标准死区压缩算法

死区压缩算法的原理是：对于时间序列的变量数据，规定好变量的变化限值（即死区，或称为阈值），若当前数据与上一个保存的数据的偏差超过了规定的死区，那么就保存当前数据，否则丢弃，如图1所示。这种算法对来自时间序列的连续数据，仅需与前一个保存的数据进行比较即可确定本数据是否需要保存，因此易于理解和实现，大部分采用有损压缩的实时数据库都提供了这种压缩方式。

图1死区压缩算法原理死区算法可以较好的过滤掉噪音，适用于数值稳定的测点，但对于线性漂移（即沿斜线变化）的数据，不能很好的进行压缩，如图2所示。此时，若采用死区压缩算法，那么A、B、C、D都需要保存，实际上仅保存A和D即可，B和C通过线性插值就可以还原。这种情况下，就需要采用一些斜率变化的压缩方式，对沿斜线进行变化的数据进行压缩。

图2死区不适宜处理沿斜线变化数据示意图1.2PI的旋转门算法

［7］

PI实时数据库的旋转门压缩算法，是针对慢变化过程数据的压缩算法，实现简单，涉及的乘除法较少，压缩效率较高，为PI的推广赢得了偌大的名声，其实现原理如图3所示。A点为要保存的点，通过A点和后续点画平行四边形，其竖直方向的边长A1A2为2倍的压缩精度，也就是图上的旋转门范围。当平行四边形能够包围A点与当前点之间的所有点时，继续画平行四边形，如图中的平行四边形3包围了B点和C点；当平行四边形不能包围所有点时，如图中的A点和E点画出的平行四边形4，那么其前一个点即D点需要进行保存；然后从D点开始继续画平行四边形。PI的旋转门算法具体实现时，仅需要计算A1与后续点的最大斜率、A2与后续点的最小斜率以及A点

与当前点的斜率，若这个斜率超出了最大和最小斜率范围，那么当前点的前一个点就需要保存。因此，这个算法计算量少，中间需保存的变量也少，测点值解压缩还原后的最大误差为压缩精度，也即旋转门范围的一半。PI的旋转门算法，是一种优秀的压缩算法，但由于OSI申请了算法专利，因此其他的实时数据库厂家为了不侵犯专利，提出了他们自己的旋转门压缩算法。

417期王君：基于实时数据库的有损线性压缩算法研究与改进

图3PI旋转门算法原理图1.3GEProficyHistorian的旋转门算法

［8］

GEProficyHistorian实时数据库（后文简称PH）也采用了一种旋转门压缩算法，其原理如图4所示。每

一个数据点及其上下允许误差（即压缩精度）组成一条线段，即图中带有箭头的竖直线段。A点是一个要保存的数值，从A点向后续数据点画线，若这条线与这两点间的所有竖直线段都相交，那么继续向下一个数据点划线，图中AD连线与B、C的竖直线段都相交；若连线与这两点间的一个或多个竖直线段没有交点，那么当前点的前一个测点需要进行保存，如图中AE连线，与C、D的竖直线段没有交点，因此，D点需要进行保存，再从D点开始向后续点划线。

图4PH旋转门算法原理图GE旋转门算法具体实现时，需要计算并临时保存上一个保存点（图中A点）与后续点的上限连线中斜

率的最小值，以及与下限连线中斜率的最大值，然后计算A点与当前点的斜率，若这个斜率落在上限斜率的最小值和下限斜率最大值之间时，那么继续计算下一个点；否则当前点的前一个点需要进行保存。与PI的旋转门算法相比，这种算法计算量相当，解压缩还原后测点的精度也一致，即旋转门范围的一半。1.4爱康诺HyperHistorian的旋转门算法

［9］

爱康诺（ICONICS）公司的HyperHistorian实时历史数据库（后文简称HH）也采用了一种旋转门算法。如图5所示，旋转门压缩算法描述如下：A点为保存的点，与其后续点B，根据一定的误差范围，确定2条线A1B和A2B，与A1A2组成旋转门；然后根据A、C点再画2条线A1C和A2C，由于B点在这两条线内（包括

线上），所以B点丢弃，新的旋转门为A1C、A2C和A1A2组成；然后由A、D点画出2条线A1D和A2D，这时，A1C、A2D和A1A2组成新的旋转门，此时C点位于旋转门内，所以C点也丢弃；然后再由A、E点确定两条线A1E和A2E，由于E点位于旋转门外（E点在图5中虚线下方），故保存其前一个点D，然后由D、E开始构造新的旋转门。

51微计算机应用2011年图5HH旋转门算法原理图需要注意的是，这种算法解压缩还原后测点值的精度为图中的整个旋转门范围，而不是旋转门范围的一半。1.5改进的双旋转门算法

上文提到的旋转门算法，都比较容易实现，所以国内一些实时数据库厂家照搬这些旋转门算法，但是无意中会侵犯其他厂家的专利，比如PI就为其旋转门算法申请了专利。本文公布了另一种旋转门算法，可以称其为“双旋转门”算法，压缩率与上面的相当，可以供国内实时数据库厂家参考借鉴。

图6双旋转门算法原理图如图6所示，分别从A1A和AA2开始画两个平行四边形，尽可能包容其后所有点，当达到某个点（如E点）时，两个平行四边形都不能包含这个点，那么这个点的前一个点（图中D点）需要进行保存，然后从新的保存点开始继续画双旋转门。由图6可见，测点的误差在旋转门范围内。由于两个旋转门的竖直边都等于数值的压缩精度，因此数据解压缩还原后，精度可保证在规定的压缩精度内。具体算法与上面的算法类似，可根据比较斜率来实现，涉及的乘除法也与上面提到的其他算法相当。

2算法比较

这些不同算法，其数据的压缩能力是存在差异的，一般根据压缩率［10］（或称为压缩比）来进行度量。本文中的模拟数据采用正弦波，每秒1个数据，1小时内的数据（数据总数为3601个），对比不同周期和不同数据精度下这些算法的压缩率。

61

合集下载

基于IAOA-PNN模型的天然气压缩因子计算方法研究

基于IAOA-PNN模型的天然气压缩因子计算方法研究

采输技术DOI ：10.3969/j.issn.1001-2206.2023.06.012基于IAOA-PNN 模型的天然气压缩因子计算方法研究孙玮中国石油华北油田分公司检验检测中心，河北任丘062552摘要：针对部分压气站未设置气相色谱分析仪，无法获取天然气压缩因子的现状，通过拉丁超立方抽样获取虚拟天然气组分样本，随后以准确度较高的GERG-2008方程为基础，计算天然气密度、热值和压缩因子，形成具有热力学性质的天然气数据库，最后搭建概率神经网络（PNN）模型用于数据的训练、验证和预测，并对预测模型结果进行现场验证。

结果表明，IAOA 算法在收敛速度、训练精度和稳定性上优于AOA 算法、PSO 算法和GWO 算法，证明了算法从种群初始化和密度因子方面进行优化的有效性和科学性；现场校验时本文模型的相对误差维持在-1%~2%之间，且对于组分含量和工况的变化不敏感，可适用于大部分管输气的工况条件；密度是影响算法精度的重要参数，在参数缺失的情况下，应优先保证现场具有监测温度、压力和密度的仪器设备。

关键词：压缩因子；AOA；PNN；GERG-2008方程；相对误差Research on the calculation method of natural gas compression factor based on IAOA-PNN modelSUN WeiInspection and Testing Center of Petrochina Huabei Oilfield Company,Renqiu 062552,ChinaAbstract：In response to the situation where some pressurized gas stations do not have gas chromatography analyzers and cannot obtain natural gas compression factors,this study used Latin hypercube sampling to obtain virtual natural gas component samples.Subsequently,based on the highly accurate GERG-2008equation,natural gas density,calorific value and compression factor of natural gas were calculated to create a thermodynamic natural gas database.Finally,a probabilistic neural network (PNN)model was built for data training,verification and prediction,and the results of the prediction model are verified on site.The results show that IAOA algorithm is superior to AOA algorithm,PSO algorithm and GWO algorithm in convergence speed,training accuracy and stability,which proves that the algorithm is effective and scientific in population initialization and density factor optimization.The relative error of this model is between -1%and 2%,and it is not sensitive to the change of component content and working conditions,making it suitable for most gas transmission conditions.Density is an important parameter that affects the accuracy of the algorithm,and in cases of missing parameters,it is important to prioritize the presence of equipment and instruments for monitoring temperature,pressure,and density on-site.Keywords：compression factor;AOA;PNN;GERG-2008equation;relative error天然气作为清洁能源，在我国实现“碳达峰”“碳中和”的目标中占有重要地位[1]。

数据压缩的基本原理和方法(pdf 87页)

数据压缩的基本原理和方法(pdf 87页)

第三章多媒体数据压缩3.1 数据压缩的基本原理和方法3.1 数据压缩的基本原理和方法•压缩的必要性音频、视频的数据量很大，如果不进行处理，计算机系统几乎无法对它进行存取和交换。

例如，一幅具有中等分辨率（640×480）的真彩色图像（24b/像素），它的数据量约为7.37Mb/帧，一个100MB（Byte）的硬盘只能存放约100帧图像。

若要达到每秒25帧的全动态显示要求，每秒所需的数据量为184Mb，而且要求系统的数据传输率必须达到184Mb/s。

对于声音也是如此，若采用16b样值的PCM编码，采样速率选为44.1kHZ ，则双声道立体声声音每秒将有176KB的数据量。

3.1 数据压缩的基本原理和方法•视频、图像、声音有很大的压缩潜力信息论认为：若信源编码的熵大于信源的实际熵，该信源中一定存在冗余度。

原始信源的数据存在着很多冗余度：空间冗余、时间冗余、视觉冗余、听觉冗余等。

3.1.1 数据冗余的类型•空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。

–一幅图象中同一种颜色不止一个象素点，若相邻的象素点的值相同，象素点间（水平、垂直）有冗余。

–当图象的一部分包含占主要地位的垂直的源对象时，相邻线间存在冗余。

3.1.1 数据冗余的类型•时间冗余：时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其它帧图像中的物体或场景重构出来。

–音频的前后样值之间也同样有时间冗余。

–若图象稳定或只有轻微的改变，运动序列帧间存在冗余。

3.1.1 数据冗余的类型•信息熵冗余：信源编码时，当分配给第i 个码元类的比特数b （y i ）=-log p i ，才能使编码后单位数据量等于其信源熵，即达到其压缩极限。

但实际中各码元类的先验概率很难预知，比特分配不能达到最佳。

实际单位数据量d>H （S ），即存在信息冗余熵。

电力调度SCADA系统中历史数据压缩及存储策略

电力调度SCADA系统中历史数据压缩及存储策略

电力调度SCADA系统中历史数据压缩及存储策略摘要：随着电力系统自动化水平的提升，数据量呈现出几何式上升趋势，大量数据对信息处理与存储系统造成负担，而高效的数据压缩技术可以使数据量减少，并提升数据利用的效率。

数据经过压缩后，可以释放大量存储空间，存储更多的数据，而达到这一目标就需要采用合理的压缩策略。

关键词：电力调度；SCADA 系统；历史数据压缩一、电力调度SCADA系统电力调度SCADA系统用于采集电力数据并监控电力系统，计算机是自动监控系统的基础，在电力、燃气、化工等领域广泛使用。

SCADA系统包括硬件系统和软件系统两部分，可以对数据实时处理和运算。

硬件设备使用点点连接方式，还有硬件设备使用总线得到连接。

SCADA系统软件包括多个功能模块，不同功能模块有着特定功能，采集数据需要由单个或者多个服务器完成采集工作。

压缩数据常使用有损压缩的方法，主要可以分成矢量量化、变换信号以及分段线性法三种。

分段线性法是最简单的方法，适合用于压缩数据。

随着电网建设项目逐渐增多，电网自动化水平逐渐升高，数据采集量越来越大，海量数据给电网系统造成巨大的负担，需要通过有效数据压缩技术，减少数据量，提高数据的使用率。

压缩数据使用合理存储策略可以减少数据存储空间，提高数据的查询效率。

目前电网智能化水平越来越高，必须要配备更加智能和自动化的SCADA系统，满足电力调度的实际需要，要研究更高效的数据压缩技术，减少数据存储空间，保证SCADA得到稳定运行。

二、历史数据库的特点历史数据库特点体现在以下方面：一是自维护，系统从开始运行就会采集与存储数据，随着运行时间推移，历史库中数据会不断增加，但是历史库空间是有限的，因此需要确定哪些数据是需要存储的，哪一个时间段内的数据是需要存储的，从而将不需要存储的数据丢弃。

二是存储介质，数据库内数据是依据一定规则存储于计算机内部，由于计算机内存读取速度会高于磁盘读写速度，系统可以快速对内存数据访问。

实时数据库的关键技术及未来发展前景

实时数据库的关键技术及未来发展前景

实时数据库的关键技术及未来发展前景摘要：作为数据库领域的一个重要分支。

实时数据库弱化了关系型数据库的某些功能，通过采用专用的工业实时数据压缩算法以及特殊的历史数据存储索引机制，应对特殊的需求。

实时数据库推动了信息化从传统领域向新的领域扩展，向更高层次发展。

这些新的领域包括生产实时监视、电力调度、交通监视及控制、实时仿真、作战指挥自动化等。

展望未来，在物联网领域实时数据库将会发挥更重要的作用。

关键词：实时数据库数据压缩算法信息化关系数据库物联网中图分类号：TP311.133.2文献标识码：A文章编号：1007-9416（2014）04-0215-021引言1.1实时数据库简介及应用背景实时数据库作为一种特殊的数据库，早在十多年前就已经在国外的大型流程工业企业部署应用。

随着网络、存储及计算技术的飞速发展，实时数据库广泛应用于电力、钢铁、石油、石化、交通、航空、水利、环保等重要行业和领域，已经是工业领域信息化的核心基础软件，在“信息化与工业化融合”过程中发挥着重要作用。

1.2国内外主流实时数据库介绍目前国内外市场上主流的实时数据库有：美国OSI公司的PI实时数据库，美国GE公司的IH实时数据库和美国印步公司的eDNA实时数据库。

国产的有代表性的实时数据库有：上海麦杰的openPlant，北京中科启信的Agilor。

2实时数据库的主要特点及架构2.1实时数据库的特点实时数据库面向的应用领域有如下3个特点：2.1.1单位时间内响应的数据量大如：一个的火电厂的SIS系统使用实时数据库存储数据，同时需要处理的测点数超过了一万，这些测点的变化周期通常在1秒钟之内，也就是说，需要将超过一万点的数据在1秒钟之内保存到数据库中。

2.1.2存储数据量大实时数据库的核心就是对大量的实时信息进行处理，由于成年累月的数据将占据大量的硬盘空间。

假设同时处理对于1万点的系统，每1秒钟存储一次，每次单点占用8个字节，那么保存10年的数据量将有10000*8*10*365*86400=25228800000000字节，接近23TGB。