数据同步系统设计
- 格式:doc
- 大小:26.50 KB
- 文档页数:4
船岸数据同步原理设计作者:薛磊来源:《硅谷》2009年第10期中图分类号:U6文献标识码:A文章编号:1671-7597(2009)0520087-02当今世界航运市场的竞争日趋激烈,管理就成了在竞争中立于不败之地的关键所在。
为了更加有效地保证公司质量与安全管理体系有效运行,不断提高公司安全管理人员对船舶的安全监管水平,保证船舶及人员安全,防止污染,减少和避免财产损失,维护公司声誉,因此,需要利用船舶信息同步技术,使船舶安全管理人员能及时地监管在航船舶及船员信息,加强公司管理机关对船舶的控制力度和突发事件的应对能力,确保船舶航行的安全。
要实现船岸之间的信息同步,首先考虑的是分布式数据库技术。
每一艘船舶都有自己的一个数据中心,岸端有一个中心数据库服务器。
通过这一技术,可以使数据库应用系统延伸到船舶,并通过互联网与岸端管理机关进行数据拷贝,从而实现船岸之间的信息传递。
但是,从现有的技术来看,远洋船舶和陆地之间难以保持长期在线连接的状态:GPRS和CDMA技术在茫茫的大洋中存在很多的盲点,而通过卫通保持长期的连接费用又很高。
因此,从经济角度和可行性上考虑,船岸之间通过海事卫星短时连接,从而达到船岸之间数据的同步,是最经济、最安全和最有效的方法。
系统整体构架模型图如下所示:一、系统的总体思路本方案可抽象成如下结构的系统模型: 陆地与船舶两端的系统通过一个抽象的网络连接来实现数据通信与传输。
其中应用系统只负责处理数据和事务流程,中间由一个负责传输数据的抽象网络连接来为两端系统提供应用层上的连接和数据传输的通道。
当需要进行数据通信时,系统将从数据库中查出待增量数据生成一个特殊文件。
这个文件实际上就是一个应用层的通信协议,要精炼、可扩展、功能完备。
系统只需要将要同步的数据交由抽象的网络层处理、传输,并保证传输数据的顺序性、正确性与安全性。
这样,就可以将整个系统中数据事务处理部分与数据传输同步部分分离开来,简化了系统的设计。
设计ClickHouse分布式表实现数据同步作者:吴帆青云数据库团队成员主要负责维护 MySQL 及 ClickHouse 产品开发,擅长故障分析,性能优化。
在多副本分布式 ClickHouse 集群中,通常需要使⽤ Distributed 表写⼊或读取数据,Distributed 表引擎⾃⾝不存储任何数据,它能够作为分布式表的⼀层透明代理,在集群内部⾃动开展数据的写⼊、分发、查询、路由等⼯作。
Distributed 表实现副本数据同步有两种⽅案:1. Distributed + MergeTree2. Distributed + ReplicateMergeTree| Distributed + MergeTree在使⽤这种⽅案时 internal_replication 需要设为 false,向 Distributed 表写⼊数据,Distributed 表会将数据写⼊集群内的每个副本。
Distributed 节点需要负责所有分⽚和副本的数据写⼊⼯作。
1. 集群配置<logical_consistency_cluster><shard><internal_replication>false</internal_replication><replica><host>shard1-repl1</host><port>9000</port></replica><replica><host>shard1-repl2</host><port>9000</port></replica></shard></logical_consistency_cluster>2. 数据写⼊CREATE TABLE test.t_local on cluster logical_consistency_cluster(EventDate DateTime,CounterID UInt32,UserID UInt32) ENGINE MergeTree() PARTITION BY toYYYYMM(EventDate) ORDER BY (CounterID, EventDate) ;CREATE TABLE test.t_logical_Distributed on cluster logical_consistency_cluster(EventDate DateTime,CounterID UInt32,UserID UInt32)ENGINE = Distributed(logical_consistency_cluster, test, t_local, CounterID) ;INSERT INTO test.t_logical_Distributed VALUES ('2019-01-16 00:00:00', 1, 1),('2019-02-10 00:00:00',2, 2),('2019-03-10 00:00:00',3, 3)3. 数据查询# shard1-repl1SELECT *FROM test.t_localQuery id: bd031554-b1e0-4fda-9ff8-1145ffae5b02┌───────────EventDate──┬─CounterID─┬─UserID─┐│ 2019-03-10 00:00:00 │ 3 │ 3 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-02-10 00:00:00 │ 2 │ 2 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-01-16 00:00:00 │ 1 │ 1 │└─────────────────────┴───────────┴────────┘3 rows in set. Elapsed: 0.004 sec.------------------------------------------# shard1-repl2SELECT *FROM test.t_localQuery id: 636f7580-02e0-4279-bc9b-1f153c0473dc┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-01-16 00:00:00 │ 1 │ 1 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-03-10 00:00:00 │ 3 │ 3 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-02-10 00:00:00 │ 2 │ 2 │└─────────────────────┴───────────┴────────┘3 rows in set. Elapsed: 0.005 sec.通过写⼊测试我们可以看到每个副本数据是⼀致的。
基于SAR-ADC的精密同步数据采集系统设计王炳文【摘要】For the problem of simultaneously sampling of multi-channel analog signals in a data acquiring system, the schemes of the system were discussed.Based on SAR-ADC, a kind of 16 bit AD convert system which controlled by FPGA was designed.The system could realize real-time synchronous sampling of analog signals.And the differences of sampling rate among multi-channel analog signals were well balanced in this system.The Signal to Noise and Distortion Ratio(SINAD) and Effective Number of Bits(ENOB) of the system were tested, and it was proved that the system can achieve good AC characters.%针对某精密数据采集系统中模拟信号同步采样问题,文章研究了多通道同步模拟信号采集方法,设计了一种基于SAR-ADC、使用FPGA控制的16位同步采样AD转换系统.该系统可实现模拟信号的实时同步采样,同时兼顾多路模拟信号采样频率要求的差异性,最后通过试验测试了该系统的信纳比(SINAD)和有效位数(ENOB).测试结果表明,该系统具有良好的动态性能指标.【期刊名称】《微型机与应用》【年(卷),期】2017(036)007【总页数】4页(P29-31,34)【关键词】SAR-ADC;同步采样;FPGA【作者】王炳文【作者单位】中国航空工业集团公司西安航空计算技术研究所,陕西西安 710065【正文语种】中文【中图分类】TP353在惯性测量[1]、功率因数校正[2]、电机控制等工业应用场合,系统需要采集同一时刻来自多个传感器的模拟信号,并根据当前的状态进行计算和控制。
高速数据同步存储系统设计姜德;马游春;王悦凯;刘海霞;吴正洋;王晓娟【摘要】A high-speed synchronous storage system design is progresed. The system uses NAND Flash chip to build storage arrays,synchronization management technology and design of the pipe line to improve its speed. Based on read and write technology at Flash synchronous mode,a method of the Flash array management is intro?duced,so that the entire Flash memory speed has been greatly improved. While for the Flash bad block detection problem,the introduction of off-chip memory bad block address methods to improve the efficiency of the system to detect badblock ,ensures the stability of the system while improving the performance of the system to maximum extent. The test results show that the system exhibits its memory speed,large storage capacity and high reliability.%介绍了一种高速同步存储系统的设计方案.系统使用NAND Flash构建片内存储阵列、同步管理技术和流水线的设计方案提高其存储速度.在Flash的同步模式下的读、写技术基础上,引入了片内Flash阵列管理方法,使整个Flash的存储速度有了大幅度的提高.同时针对Flash的坏块检测问题,引入了片外存储坏块地址的方法,提高了系统的坏快检测效率,保证系统的稳定性的同时,最大程度上提升了系统的性能.测试结果表明,该系统存储速度快、存储容量大、可靠性高.【期刊名称】《电子器件》【年(卷),期】2016(039)006【总页数】4页(P1421-1424)【关键词】高速存储器;片内FLASH阵列;坏块管理;同步技术【作者】姜德;马游春;王悦凯;刘海霞;吴正洋;王晓娟【作者单位】中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051;中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051;中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051;中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051;中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051;中北大学电子测试国家重点实验室仪器科学与动态测试教育部重点实验室,太原030051【正文语种】中文【中图分类】TP274高速视频存储技术凭借着其具有存储容量大、速度高等特点,已经被广泛地应用到空中监测、水下视频采集以及陆地上的安防、交通、工业、教学等各个领域。
气象数据异地服务器同步系统的设计与实现摘要:随着气象信息化的飞速发展,近几年气象资料成倍增长,预报、科研人员对基础气象资料的实时性与完整性提出了越来越高的要求,气象数据异地服务器同步系统用于省级信息中心未完整接收气象卫星数据广播系统分发的资料时,自动通过ftp方式到国家气象信息中心的数据服务器下载所需文件,实现与国家级资料的同步,极大的保证了省级气象资料的完整性与实时性。
本文主要介绍了所开发系统的功能,业务流程及实现方法。
关键词:资料传输;自动同步;ftp中图分类号:tp311.52 文献标识码:a 文章编号:1007-9599 (2012)18-0000-021 引言随着网络通讯技术、现代探测技术、新一代数值预报技术和天气预报业务的飞速发展,目前获取的气象观测数据、资料海量增加,省级气象信息中心除了收集本省的各类资料外,大量的资料通过国家局气象主站的卫星数据广播系统获得,但是,如果省级接收机出现故障,则故障时段分发的资料就会缺收。
而且,由于接收干扰、降雨衰减等影响,省级文件丢失情况时有发生,给预报业务和服务业务带来了直接影响。
开发此气象数据异地服务器同步系统,可以有效满足预报、科研人员对基础气象资料实时性与完整性日益提高的需求。
该系统每间隔一段时间就自动通过地面气象宽带网从国家气象信息中心的数据服务器ftp下载所需文件,以实现省级服务器的数据与国家级数据的同步,极大的保证了省级气象资料的完整性与实时性,提高了省级信息中心提供基础气象数据的主动性与及时性,解决了资料缺失滞后处理的问题。
2 系统的功能系统的功能主要是实现省级气象数据服务器资料与国家级的同步,当省级未完整接收国家局气象卫星数据广播系统分发的资料时,自动从地面气象宽带网ftp连接到主站的数据服务器下载所需文件,由于只在检测到省级资料不全时才启动数据传输功能,避免了大量资料的重复传输,作为资料接收的备份方式,极大的保证了省级资料的完整性与实时性。
同步fifo的设计原理同步FIFO的设计原理概述同步FIFO(First-In-First-Out)是一种常用的数据缓存器,用于在数据的产生与消费之间进行数据传输。
本文将从浅入深,分步骤地介绍同步FIFO的设计原理。
设计目标同步FIFO的设计旨在解决数据产生与消费之间的速度差异问题。
具体来说,它需要实现以下目标: - 确保数据的顺序性:数据按照进入FIFO的顺序被读取,保持“先进先出”的特性 - 确保数据的完整性:数据不会在传输过程中丢失或损坏 - 处理不匹配的产生和消费速度:当数据的传输速度不匹配时,FIFO能够进行适当的流量控制,以确保数据的稳定传输和存储基本原理同步FIFO的设计基于以下几个基本原理:写入过程1.写指针(Write Pointer):用于指示下一个数据写入的位置2.存储单元(Storage Element):用于存储数据的内部单元3.信号控制线(Control Signal Line):用于控制写入操作的时序,如写使能信号(Write Enable)读取过程1.读指针(Read Pointer):用于指示下一个数据读取的位置2.信号控制线:用于控制读取操作的时序,如读使能信号(ReadEnable)同步机制为了确保数据的顺序性和完整性,同步FIFO采用了以下同步机制:1. 读写指针同步:读取操作与写入操作之间存在同步关系,保证数据按照正确的顺序被读取 2. 写使能同步:写使能信号与写指针同步,确保只有在正确的时刻写入数据 3. 读使能同步:读使能信号与读指针同步,确保只有在正确的时刻读取数据流控制为了处理数据产生与消费速度不匹配的情况,同步FIFO采用了流控制机制: 1. 读写时钟同步:读写操作在同一个时钟周期内完成,通过同步读写时钟,确保数据传输的稳定性和一致性 2. FIFO空闲状态检测:通过判断FIFO的存储区是否为空,进行流量控制,避免数据丢失或溢出 3. 推、拉操作:当数据产生速度快于消费速度时,FIFO可以通过推操作将多余的数据推出;当消费速度快于产生速度时,FIFO可以通过拉操作补充数据总结同步FIFO是一种常用的数据缓存器,可以解决数据产生与消费速度不匹配的问题。
科技与创新|Science and Technology & Innovation2024年 第06期DOI :10.15913/ki.kjycx.2024.06.017基于FPGA的矩阵式MEMS传感器数据同步采集系统设计*邵依依,陈 琴,徐豪怿,戴志晶,卜 峰(苏州市职业大学电子信息工程学院,江苏 苏州 215104)摘 要:消费级MEMS (Micro-Electro Mechanical System ,微型电子机械系统)惯性传感器使用广泛,成本低但精度相对较差。
使用多个消费级MEMS 传感器构成传感器矩阵,通过数据融合算法提高精度是一种有效方法,其中对矩阵式多传感器数据的同步采集是关键。
为此,设计了电平转换电路,基于FPGA (Field Programmable Gate Array ,现场可编程门阵列)构建了多达32路的实时同步数据采集系统,为实现高精度的矩阵式惯性传感器组件提供了一种解决方案。
关键词:MEMS 传感器;FPGA ;矩阵式;数据同步采集中图分类号:TP212 文献标志码:A 文章编号:2095-6835(2024)06-0062-03——————————————————————————*[基金项目]2023年江苏省职业院校学生创新创业培育计划项目(编号:G-2023-1602);2023年苏州市职业大学研究性课程项目(编号:SZDYKC-230701)目前,自动驾驶等技术蓬勃发展,其中高精度导航定位是实现自主导航的关键技术[1]。
对于车辆系统而言,考虑成本与功耗等因素,采用惯性导航是切实可行的方案之一。
MEMS 惯性传感器包含陀螺仪和加速度计,用于测量在惯性系统下的加速度和角速度信息,是微惯性导航系统中的关键器件。
MEMS 惯性传感器具有成本低、功耗低、体积小、易于集成等优势,在导航定位中应用广泛。
由于消费级MEMS 惯性传感器在精度、长时间漂移方面存在缺陷,测量误差较大,难以满足车辆导航需要[2]。
基于Web Service的数据库同步系统的设计与实现摘要结合当前流行的Web Service和技术构造了一个不受平台限制的异构数据库同步系统。
实现了处于Internet上的Sql Server2000向Oracle 的单向同步功能,能够基于IP的安全身份验证功能,多个IP实现了净量数据的传输。
对同步的配置信息采用XML存储,采用Windows应用程序界面化配置,操作方便、易懂。
因为同步环境是对处于Internet上的异构数据库的实时同步;在设计与开发中,重点关注异构数据库的同步以及数据传输的可靠性;探讨能实现可靠数据的同步,以及传输的高效性。
介绍了实现系统的思路以及所需的关键技术。
系统用到的相关技术有捕获技术Windows 托盘服务、多线程处理、以及网络消息机制、多IP同步、同步IP权限验证、同步表名及字段以及字段类型的可配置、异构数据类型的转换、Web Service等。
关键词:Web Service;异构数据库;同步;;The Design and Implementation of DatabaseSynchronization System Based on Web ServiceAbstractWe can construct the Heterogeneous database synchronous system using Web Service. It has realized the function of one-way synchronous from SQL Server2000 to Oracle. It has some functions, the security authentication of IP, the data transmission of IP, the Synchronization configuration using XML storage and the windows application program UI which can make this system be operated easily.Because the synchronous environment will be real-time synchronous for heterogeneous database on the Internet, in the design and implementation, this system has showed the synchronization of heterogeneous database and data transmission reliability, achieving the synchronization of reliable data, the security methods of data transmission, and the efficiency transmission. It will display the ideas of realization and the necessary critical technologies. There are some relevant technologies that this system used, for example, the capture technology, the windows tray service, multi-thread processing, and the network news mechanism, and so on.Key words: Web Service; Heterogeneous Database; Synchronization; ;目录论文总页数:24页1引言 (1)1.1课题背景 (1)1.2国内外研究现状 (1)1.3本课题研究的意义 (2)1.4本课题的研究方法 (2)2WEB SERVICE数据库同步原理 (3)2.1W EB S ERVICE构成与特点 (3)2.1.1Web Servcie的结构 (3)2.1.2Web Servcie的关键技术---协议 (3)2.1.3Web Servcie的特点 (4)2.1.4Web Servcie安全 (5)2.2数据库复制的分类 (5)2.3复制数据的类型 (6)2.4数据捕获技术 (7)2.5冲突检测 (8)3需求分析 (9)3.1同步环境 (9)3.2功能需求 (9)3.3性能需求 (10)3.4输入输出要求 (10)3.5运行需求 (10)4方案设计 (11)4.1数据库同步复制模型 (11)4.2数据库设计 (11)4.2.1源结点Sql Server 2000表设计 (11)4.2.2目的结点Oracle表设计 (12)4.3模块设计 (13)4.3.1数据捕获部分 (13)4.3.2同步部分 (13)4.3.3冲突检测处理部分 (16)5代码实现 (16)5.1开发环境 (16)5.2关键代码详解。
基于分布式内存数据的数据同步设计与实现作者:朱伟李纪云江慧刘柱云来源:《现代电子技术》2014年第02期摘要:在变电站综合自动化系统中,需要对遥测、脉冲、遥信等实时数据进行处理,由于电力系统对这些数据的存取具有较高的实时性,因此监控系统通常会采用实时数据库进行数据的存储管理。
随着监控系统需要处理数据单元的增加和机器节点数的增长,监控系统普遍采用分布式内存数据库进行实时数据的存储。
分布式内存数据库的一个重要问题就是如何实现多个机器节点之间的数据更新同步,提出了利用多播和TCP实现快速有效的数据同步方式,支持灵活的组网方式,并设计了一套稳定可靠的数据传输机制,使得分布式内存数据库的各个节点的数据保持良好的一致性。
关键字:分布式内存数据库;数据同步;变电站自动化系统;监控系统中图分类号: TN964⁃34 文献标识码: A 文章编号: 1004⁃373X(2014)02⁃0077⁃030 引言传统数据库的存储管理主要是利用磁盘进行数据存储,在存取数据过程中需要频繁对磁盘进行读写操作,而且磁盘读写的操作时间开销比较大。
在变电站综合自动化系统中,需要对遥信、遥测等大量实时变化数据进行处理,而且系统对数据存取的实时性要求比较高,所以传统的数据库系统无法满足监控系统对实时数据的处理需要。
目前大部分变电站综合自动化系统都会采用内存数据库对这些数据进行存储管理[1]。
为了保证数据处理的实时性和可靠性,监控系统中会同时使用内存和外部存储设备(如硬盘)作为数据的存储介质。
监控系统将实时或关键性数据的操作在内存中进行处理,由于内存的数据存取速度比硬盘快,因此内存数据库对数据的处理比传统数据库更高效、更迅捷。
硬盘等外部存储介质一般用于保存系统中的操作日志、历史信息和数据配置等信息。
一般内存数据库在初始化的时候会从磁盘加载构建内存数据库所需要的一切信息,并为每条记录创建索引,进一步加快数据的存取操作[2]。
由于电力系统信息化程度的提高,变电站综合自动化系统需要处理的数据越来越多,单一的计算机节点已经无法满足应用的需求,因此分布式多机系统成为监控系统的首选方案,并且每台机器都拥有自己的内存数据库[3]。
数据同步系统设计
摘要:在大型分布式应用中,经常需要对数据进行跨库或跨网络进行同步,出于资金或数据安全的方面考虑,不能过多依赖硬件或数据库进行同步,因此需要一种安全和高性能的数据同步解决方案,本文讨论了在不依赖数据库的基础上,实现数据同步的功能,并在性能和可扩展性上进行了优化。
在分布式领域有个CAP理论,是说Consistency(一致性), Availability(可用性), Partition tolerance(分区和容错) 三部分在系统实现只可同时满足二点,无法三者兼顾。
关键词:数据同步分布式应用CAP理论
一、应用场景
在大型分布式应用中,我们经常碰到在多数据库之间的数据同步问题,比如说一款游戏,在玩家注册后,可以马上登陆进入服务器,即数据在一个IDC 更新,其它IDC立即可见。
为了简化思路,我们这里称玩家注册的数据库(数据来源库)为中心库,同步目的地的数据库为分站库。
能做的
数据快速搬运到指定的IDC节点
数据传递过程中失败时,重新传递
监控数据传递流程
故障转移
数据版本控制
不能做的
不参与业务行为,业务操作只能通过注册的方式集成
不保存业务数据,不提供传递的业务的查询
二、系统要求
1.数据快速同步:除去网络原因,正常情况下从来源库同步到接收库的时间不超过300m
2.高并发:单应用每秒同步2000条记录
3.可伸缩性,在资源达到上限时能通过增加应用分散处理后期增长的压力
4.数据完整性要求,在数据同步过程中保证数据不丢失和数据安全
5.故障转移和数据恢复功能
三、设计思路
系统优化,最常用的就是进行业务切割,将总任务切割为许多子任务,分区块分析系统中可能存在的性能瓶颈并有针对性地进行优化,在本系统中,主要业务包含以下内容:
1.Syncer:外部接口,接收同步数据请求,初始化同步系统的一些必要数据
2.Delivery:将同步数据按照业务或优先级进行分发,并记录分发结果
3.Batch:分站库收到同步数据后,根据不同的业务类型调用相应的业务逻辑处理数据
基于以上三块业务功能,我们可以把整个数据同步流程切割为3个应用,具体如下图显示。
在Syncer端应用中,我们需要将原始同步数据和分发的分站进行存储,以备失败恢复,此时如果采用数据库进行存储,势必会受限于数据库性能影响,因此我们采用了高效的key-value风格存储的redis服务来记录数据,同时在不同应用之间采用队列(Httpsqs服务)的方式来进行通讯,同时也保证的数据通讯的顺序性,为之后的顺序同步做好基础。
Httpsqs提供了http风格的数据操作模式,业务编码非常简单,同时也提供了web形式的队列处理情况查询,这是选择它做队列服务很大一部分原因:方便业务操作和性能监控。
队列处理
根据业务划分队列名称,每个队列再划分为三个关联队列:正常队列(Normal)、重试队列(Retry)、死亡队列(Death),处理流程为:
1.【进程A】把数据先放入正常队列,如果放置失败写恢复日志
2.【进程B】监听正常队列,获取队列数据并进行业务处理,处理失败放入重试队列
3.【进程C】监听重试队列,过几秒获取队列数据并重新进行业务处理,处理失败放入死亡队列
4.【进程D】监听死亡队列,获取队列数据并重新进行业务处理,处理失
败重新放入死亡队列尾部,等待下一次轮回
数据同步流程
1.发送数据,支持Http POST:curl -d “经过URL编码的文本消息”
2.sync-syncer接收到同步数据请求,创建sid并分解出需要同步的节点个数,把原始数据和子任务写入redis中,sid写入httpsqs中
3.sync-delivery监听中心httpsqs队列,根据sid从redis获取到原始数据和需要同步的节点地址,往其他节点发送数据,流程如按”队列处理流程”进行
4.sync-batch监听分节点的httpsqs队列,调用已经注册的处理器处理队列数据,流程如按”队列处理流程”进行
四、恢复和监控
恢复数据源
httpsqs中的死亡队列- 业务处理暂时处理不了的数据
recovery日志文件- 其它异常下的数据,例如网络无法连接、内部服务不可用
数据恢复
独立的应用来处理正常流程中没有完成的任务,主要功能有:
监听死亡队列,进行业务重做,再次执行失败时将执行次数+1,最大执行次数为5(默认),超出上限则记录到恢复日志中
读取恢复日志,重新放入死亡队列
应用监控
使用scribe日志框架服务业务日志的采集和监控
收集重要的业务操作日志
动态的开启/关闭某类业务日志
对redis进行监控
对httpsps,监控队列个数,每个队列的状态
五、数据结构
sid(sync id) - 全局id
v(version) - 版本号
data - 业务数据
ctime(create time) - 创建时间(毫秒)
exec - 可选,执行次数
六、编码及测试结果
经过编码和测试,在内网环境下,在无数据库限制的情况下,单应用可以同步1500条/秒,基本满足业务需求。
同时在性能不明显下降的情况下,如果需进一步扩展,可采用分布集群式布署,吞吐量将成倍的增长。
参考文献:
[1](澳)赖利.Java网络编程与分布式计算,机械工业出版社,2003:64-150
[2]许骏.面向服务的网格计算—新型分布式计算休憩系与中间件,科学出版社,2009:86-312
[3]林昊.分布式Java应用:基础与实践,电子工业出版社,2010:57-84。