一种面向高负载 Sakai 系统的性能优化方案(论文)
- 格式:pdf
- 大小:1.10 MB
- 文档页数:6
基于Web中间件的运维管理系统的性能优化方法研究与实践张永华【摘要】从运维管理系统的实际情况出发,分析基于中间件的Web体系结构的系统技术特点,对该类型的运维管理系统实际运行环境(主机系统、网络、数据库、中间件、应用结构)出现的性能故障进行全面分析,找出影响性能的原因,给出调整参数的理论方法.通过系统运行过程的不断优化,得出合理的参数值,以减少和消除运维管理系统性能导致的用户感知差的影响.%This article analyzes the system technical characteristics of Web-baaed middleware architecture, she performance problems of network system operation environment, such as the host system, network., database, middleware, application structure, and identifies the reasons lhaL affect performance and ihe theoretical method of adjusting ihe parameters. Through rhe reasonable parameter values, we can reduce the impact caused by the eliminate of network management system.【期刊名称】《电信科学》【年(卷),期】2011(027)011【总页数】8页(P147-154)【关键词】运维管理;性能优化;Web应用;中间件【作者】张永华【作者单位】中国移动通信集团公司广西分公司南宁530022【正文语种】中文1 引言近年来,随着电信运营商市场的发展,为适应全业务发展和市场竞争需要,对运维管理系统能力提升提出了更高的要求,运维管理系统经过长期建设,各种应用规模越来越庞大,所承载的应用范围不断拓宽,其中电子运维系统(electric operation maintenance system,EOMS)作为业务开通和网络运维集中管理的重要支撑系统,随着用户量的不断扩大,新功能模块的更新上线,其性能开始下降,影响了用户使用感知。
关于生物信息学及其研究进展摘要生物信息学是一门新兴的学科,是20世纪80年代末随着人类基因组计划的启动而兴起的,其研究内容紧随基因组的研究进展而发展。
应用计算机技术及相应软件对生物学上的一些数据进行处理以得到精确的结论分析是这门学科出现的使命。
长时间以来,其一直被认为是一个建立在对DNA 和蛋白质序列比较基础上的学科。
我国的生物信息学由于起步晚,投入资金少等原因,发展比较缓慢,技术有待进一步提高。
本文就生物信息学的发展历程,研究方向及研究进展进行了较为深入的探讨与学习。
关键词:生物信息学信息技术软件人类基因组计划数据库The abstractBioinformatics is an young discipline which is rised by the human genome project the late 80s of the 20th century, Its researching content is followed by the progress in genome research . It’s the discipline’s mission using computer technology and the corresponding softwares to organize some datas on the biological for getting more accurate results . For a long time, it has been considered to be a subject established on the DNA and protein’s sequence comparison. Bioinformatics in China are developed slowly due to late starting, lower input costs and other reasons,so this technology is need be further improved. In this paper, we are discussing and learning about the development of bioinformatics ,course of studying and the direction of researching.Key word:Bioinformatics software of information technology, human genome project database一、前言上个世纪50年代,计算机技术发展的非常迅速,伴随着其发展加上生物技术的应用需要,一门以计算机应用技术为依托新的学科领域诞生了,这就是生物信息学。
专利名称:一种考虑需求侧资源的区域多能源系统运行优化方法
专利类型:发明专利
发明人:周源,曾鸣,张艳艳,刘洋,周鹏程,汪涛,武赓,刘英新,宾雪,姚德全
申请号:CN201810619948.3
申请日:20180615
公开号:CN109146117A
公开日:
20190104
专利内容由知识产权出版社提供
摘要:本发明公开了一种考虑需求侧资源的区域多能源系统运行优化方法,适于在计算设备中执行,方法包括:构建考虑需求侧资源的多个目标函数及约束条件,其中,目标函数包括系统总成本函数、系统总排放函数以及系统的减弃效益函数,约束条件至少包括系统功率平衡约束和需求侧可响应负荷约束;基于约束条件,确定各目标函数的取值域;基于各目标函数的取值域,使用约束法对多个目标函数进行优化,得到帕累托最优前沿;使用模糊满意度决策法从帕累托最优前沿中确定最优解。
申请人:中国电建集团福建省电力勘测设计院有限公司,华北电力大学
地址:350003 福建省福州市五四路268号
国籍:CN
代理机构:北京思睿峰知识产权代理有限公司
更多信息请下载全文后查看。
CRH2型动车组列车网络控制系统板卡修程优化可行性分析摘要:为贯彻落实中国铁路高质量持续健康发展和提质降本增效的总体部署和要求,通过对列车网络控制系统板卡横向对标、检修写实及现车状态,评估优化风险,分析出列车网络控制系统板卡存在优化空间,对网络板卡进行检修优化可行性分析。
关键字:网络板卡;修程优化1 概述板卡是动车组的关键部分,在动车组平稳、安全、高速运行性能上,起到了不可替代的作用,涵盖了系统控制、状态监控、操作运行、信号传递等功能。
相应地,板卡的可靠性也成为了动车组的重要关注问题[1]。
基于目前修程修制优化需求,网络板卡具备研究研究价值。
2 国内外现状分析调研了国内各车型动车组网络板卡的检修方案,见表1所示。
表1 国内各车型动车组网络板卡(含配件)检修方案对比2.2 国外检修情况CRH2型动车组原型车引进日本新干线技术,其中网络系统为三菱公司生产,三菱建议使用寿命为10年,据调查目前新干线动车组在使用12年后,网络板卡未报废,由车辆运营单位进行检修和测试后继续使用(在支线上使用),实际使用寿命在16年左右。
CRH3型动车组参考ICE动车组维修状态,在480万公里时CCU进行了清灰、电池和风扇更换、性能测试等,其它设备不进行拆解检修,只对功能缺陷的部件进行修复。
2.3 存在的问题动车组运用至480万公里时,CRH2型动车组网络设备及三菱进口显示屏整体更新;其它车型主要为分解修,更新少量电路板或元器件。
3.试验验证为确切掌握动车组网络控制系统板卡的使用寿命,搭建合理的检修架构,结合动车组第4轮三级修,选取了部分TRC2板进行加速寿命试验及仿真分析。
3.1试验设计试验考虑加速应力包括振动、温度、湿度寿命试验。
计算各应力水平下的加速试验条件见表3所示,试验剖面见图1、图2所示。
图1 加速应力水平组合下的试验剖面图2单个循环试验剖面详细分解3.2基于加速寿命试验的使用寿命评估通信板(TRC2)加速寿命试验考虑加速应力为温度、湿度、振动应力,采用广义Eyring模型,计算得到各应力水平下的加速因子。
面向人工智能的数字信号处理课程案例设计
张海剑;夏桂松;余磊;江昊
【期刊名称】《高教学刊》
【年(卷),期】2022(8)28
【摘要】人工智能(AI)技术已经大量应用于电子信息类专业中的信号处理、机器视觉等方面。
针对当前信号处理类课程缺乏与AI交叉的现状,该文从信号与信息处理基础课程出发,融合前沿的AI教学案例,这对培养电子信息类AI人才具有重要意义。
鉴于数字信号处理(DSP)是人工智能的专业方向课程,该文结合人工智能专业的知识体系与课程设置,在经典的DSP课程框架基础上,设计以“数据学习”为导向的教学案例,探索面向人工智能的“信号分析与处理+AI案例”教学新模式。
课堂教学实
践表明,引入AI案例的课程知识体系不仅可以拓展DSP课程的知识面,更重要的是,能够让电子信息类专业的学生更顺利地过渡到人工智能的核心课程体系。
【总页数】4页(P86-89)
【作者】张海剑;夏桂松;余磊;江昊
【作者单位】武汉大学
【正文语种】中文
【中图分类】G642
【相关文献】
1.面向轨道交通的人工智能课程教学案例库建设与实践
2.新工科模式下面向案例的人工智能课程教学研究
3.面向机械工程专业学位研究生的人工智能技术课程教学
案例库的构建与应用4.面向新工科和OBE模式的人工智能课程案例5.面向“双融合”的课程思政教学案例设计——以“交通设计”课程教学模块为例
因版权原因,仅展示原文概要,查看原文内容请购买。
计算机与现代化 2015年第2期JISUANJIYUXIANDAIHUA总第234期文章编号:1006-2475(2015)02-0101-05收稿日期:2014-09-30作者简介:罗贵章(1973-),男,广西柳州人,百色职业学院讲师,百色市机电工程学校讲师,广西大学计算机与电子信息学院硕士研究生,研究方向:计算机网络及并行分布式计算。
一种面向高负载Sakai系统的性能优化方案罗贵章1,2,3(1.广西大学计算机与电子信息学院,广西南宁530004;2.百色职业学院,广西百色533000;3.百色市机电工程学校,广西百色533000)摘要:为了解决在大量用户参与的Sakai系统中,服务器承载巨大压力而导致服务质量下降甚至失效的问题,提出一种基于Linux高可用集群的解决方案。
该方案通过HAProxy实现负载均衡,针对服务器结点构建Active-Standby和Active-Ac-tive模式的热备份机制,提出并构建主从/读写分离的MySQL集群,实现可靠的、高并发读的数据库服务。
实验结果表明本方案在负载均衡、数据库性能方面表现良好。
关键词:Sakai;高负载;性能优化;负载均衡;Session共享中图分类号:TP391 文献标识码:A doi:10.3969/j.issn.1006-2475.2015.02.022APerformanceOptimizationSchemaforHugeLoadSakaiSystemLUOGui-zhang1,2,3(1.SchoolofComputerandElectronicInformation,GuangxiUniversity,Nanning530004,China;2.BaiseVocationalCollege,Baise533000,China;3.BaiseMechanicalandElectricalEngineeringSchool,Baise533000,China)Abstract:ToaddresstheproblemthatserverfailedandQoSdeclinedinSakaisystemwhenalargenumberofusersparticipate,aLinux-basedhighavailabilityclustersolutionsisproposed.Thisschemaachievedhighload-balancingbyHAProxy,Hot-standbymechanismsasActive-StandbyandActive-Activewerebuiltforservers.Amaster-slave,read-writeseparatedMySQLarchitecturewasproposed,anditachievedhighconcurrentreaddatabaseservice.Experimentsshowthatthisschemahasgoodeffectsinloadbalancinganddatabaseperformance.Keywords:Sakai;hugeload;performanceoptimization;loadbalancing;Sessionsharing0 引 言Sakai[1]是由美国印第安纳大学、密西根大学、斯坦福大学和麻省理工学院发起的一项开源课程与教学管理系统开发计划[2]。
Sakai的核心是交互,包括学生与学生交互、学生与教师交互以及学生与学习资源交互。
虎二梅[3]等使用ThinkAloud测试结合访谈法和观察法,对Sakai平台的可用性进行深入的测试和研究,发现Sakai平台存在可用性问题,大量用户并发访问时候的响应速度慢。
Sakai是典型的Web应用系统。
吴锐[4]基于Nginx融合页面压缩构建了高性能的静态页面Web系统。
王亚楠[5]等针对高并发的Web系统,通过前端资源压缩以及延迟加载,以及后端数据分页和缓存技术,实现了高并发的Web系统。
谢杰涛[6]等针对Web缓存压力,提出了一种基于定期更新和请求驱动更新的本地数据缓存机制,应用程序能够根据待存储数据的特点选择合适的缓存方式。
针对关系数据库在非结构化数据存储上的不足,MongoDB等NoSQL数据库被应用于高性能Web系统中[7]。
针对Web服务器的阻塞通信方式的不足,刘伟[8]等通过异步I/O的方式构建高性能Web服务系统。
本文在前人Web系统相关工作基础上,针对高负载Sakai系统的特定情况,提出基于Linux集群的优化方案,通过HAProxy实现负载均衡和热备,并实现了主从/读写分离的MySQL架构。
通过实验验证,该系统具有良好的负载均衡、响应能力以及数据库读性能。
102 计 算 机 与 现 代 化2015年第2期1 系统架构图1显示了本文提出的针对Sakai在线协作学习系统特性的、具有高可用性的Linux集群的架构。
主要配置包括:前端基于HAProxy[9]和Keepalived[10]的负载均衡器、NFS集群、Apache集群、Session共享结点(Memcached[11])、MySQL数据主从备份、MySQL从服务器负载均衡层。
图1 高可用的Linux集群架构2 负载均衡设计在线协作学习系统主要应用部署于Web服务器上。
如果仅设置单个Web服务器作为应用服务器,显然无法满足海量访问请求的冲击。
于是本文提出了搭建Web服务集群的方案,多个结点同时提供服务。
简单地增加Web服务器是不可行的。
服务器增加后,出现了访问请求的分发问题,即负载均衡问题[12]。
如果负载均衡做得不好,会出现某些结点一直处于重载状态,甚至导致宕机。
而另外一些结点在同一时刻可能处于空闲状态,造成资源的分配严重不合理[13]。
因此,本文提出了基于HAProxy的负载均衡集群。
图2 HAProxy负载均衡图1中的LoadBalancer即为系统中的Web服务器负载均衡层。
如图2所示,显示了HAProxy的配置架构。
HAProxy作为前端直接面向外部网络,提供请求代理分发服务。
而应用服务器则是作为后端,专注于业务系统,与前端耦合度为0。
下面通过HAProxy的配置文件对负载均衡架构进行分析。
本系统架构包括3台Web服务器,其内部IP地址分别为172.18.16.2,172.18.16.3和172.18.16.4。
其中部署了2个Web应用:sakai_portal和sakai_resource。
HA-Proxy工作的层次配置在HTTP层。
通过负载均衡机制,3台应用服务器可以根据权重获得指定份额的访问请求,达到高并发和高可用性的目的。
3 热备机制在图1中,HAProxy结点使用了热备机制,保证负载均衡结点的高可用性。
采用的是Keepalived作为备份监控工具。
双机热备的模式有2种:Active-Standby模式和Active-Active模式。
Active-Standby模式下,只有一个可用的虚拟IP(对外IP)。
一个结点对外提供服务,称为MASTER结点,该结点持有虚拟IP。
而另一个结点只作为备份结点,不对外提供服务,称为BACKUP结点。
当MASTER结点不可用时,BACKUP结点接管虚拟IP,进而接管MASTER结点服务,如图3所示。
图3 主-备模式热备方案主-备模式下,MASTER结点一直处于工作状态,而BACKUP结点永远处于备用状态,这无疑给系统造成了资源较大浪费。
双主模式(Active-Active)下,2个服务器都处于工作状态。
如图4所示,此时需要分配2个虚拟IP地址,Node#1配置为192.168.1.1的虚拟IP为MASTER结点,192.168.1.2为BACKUP结点;而Node#2则与Node#1完全反过来。
这样2个结点互相认为对方是自己的后备结点,自己是主结点,从而实现了两者的互备关系,形成了双主模式。
图4 双主模式热备方案 2015年第2期罗贵章:一种面向高负载Sakai系统的性能优化方案103 主-备模式的切换算法如图5所示。
算法1 ACTIVE-STANBY-FAILOVER输入 主结点描述对象:Smaster备份结点描述对象:Sbak输出 切换后的主结点描述对象:SnewBEGIN//测试3次Master结点的连通性stat←Sbak.tryConnection(Smaster,3);IF(statisfail)lockService(Smaster);vip←getVIP(Smaster);//备份结点设置虚拟IP,宣称自己为MasterSbak.setVIP(vip);//将Master上的连接重定向到备份结点Sbak.takeover(Smaster);//广播消息,宣称自己的Master地位Sbak.broadcast(’IamMasterNode’);Snew←Sbak;ELSESnew←Smaster;EDNIFEND图5 主-备模式的切换算法由图5算法ACTIVE-STANBY-FAILOVER可知,主备模式的双机热备机制,在失效切换时,只需要将虚拟IP漂浮到后备结点,并由后备结点接管所有已失效的主结点的连接,然后广播消息即可完成。
双主模式的切换算法与主备模式的切换算法基本一致,只不过切换完成之后,仍然可用的结点拥有2个虚拟IP地址,既充当Master又扮演Backup的角色。
所有的连接都由该结点接管。
4 Session共享当Web应用的业务规模和流量增大时,单台服务器组成的网站架构是无法满足发展需求的[14-15]。
如图1所示的架构中,通过配置多台Web服务器,构建应用服务器集群,让多台服务器分摊高压状态下的请求量,从而提高系统吞吐能力、并发能力,进而增强了系统的高可用性。
但是跨服务器的应用会产生Session共享的问题,解决Session共享问题变得非常重要。
Session共享的解决方案通常由以下几种:基于Cookie、基于数据库、基于内存共享系统。
内存共享系统内存中的HashMap具有数据淘汰机制,完全符合Session的过期机制。
由于Sakai的Session数据量较大,综合数据量和I/O压力,本文采取了基于Memcached的Session共享机制。
5 主从/读写分离的数据库架构随着业务量增加,数据库读写压力随之增加,存储设备I/O负载提高[16]。
提高数据库的读写性能通常的做法是:1)增加数据库缓存;2)采用一主多从式结构,将读和写分离;3)业务数据分库处理。
如图6所示,本文针对在线协作学习系统具有大量“站点”和内容资源的特性,提出数据库高可用的架构。
主结点的MySQL实例只负责整个数据库系统的写操作。