MOSES安装以及使用说明
- 格式:doc
- 大小:52.50 KB
- 文档页数:12
一步步安装配置MooseFS社区版MooseFS一种轻量级的分布式文件系统,为了进一步了解从直观上有一个比较完整的认识,我们首先安装配置一个可用的环境,进行测试。
一、准备1.系统环境:ubuntu12.04,其他系统可类似参考安装moosefs3.08社区版 2.准备机器及其说明:(1)管理服务器master:192.168.5.130负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝。
(2)数据存储服务器chunks:192.168.5.134数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输。
(3)客户机client:192.168.5.133通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地unix文件系统使用一样的效果。
二、软件安装准备在以上三台机子上做以下操作: 1.添加资源在 etc/apt/sources.list里添加deb /moosefs-3/apt/ubuntu/precise precise main 执行命令2.获取最新的软件包 apt-get update3.出错处理如果遇到没有公钥的情况sudo apt-key adv --keyserver --recv-keys6AF0E1940624A220 #此处6AF0E1940624A220需要是错误提示的key如果遇到签名无效,重建cache,执行如下命令 sudo -i apt-get clean cd/var/lib/apt mv lists lists.old mkdir -p lists/partial apt-get cleanapt-get update完成以上操作,可以获得moosefs相关的最新的软件安装包,便可以在三台机器上安装相关的软件服务。
三、安装master1.执行master安装命令# apt-get install moosefs-master2.修改配置文件进入目录/etc/mfs 输入如下命令:# cp mfsmaster.cfg.sample mfsmaster.cfg # cp mfsexports.cfg.sample mfsexports.cfg # cp mfstopology.cfg.sample mfstopology.cfg 修改mfsmaster.cfg将# MATOCS_LISTEN_HOST = *改成MATOCS_LISTEN_HOST = 192.168.5.130 修改mfsexports.cfg192.168.5.120/150 / rw , alldirs , maproot =03.安装cgi# apt-get install moosefs-cgi # apt-get install moosefs-cgiserv # apt-get install moosefs-cli4.启动master执行命令:mfsmaster start 如果遇到can't create lockfile in working directory: EACCES (Permission denied) 请使用mfs用户 su mfs 启动成功5.启动监控执行命令:mfscgiserv 启动成功:查看监控,我们在浏览器输入地址http://192.168.5.130:9425/回车,出现如下界面:将Mfsmaster改成你的主机地址,这里是192.168.5.130,点击try it,出现以下界面:至此,管理服务器master安装完毕。
深水浮式平台的类型深海有着强大的油气资源储备。
不断涌现的各种新型采油平台技术促进着深海采油技术的高速发展,这些技术概括起来可分为四大类:张力腿式平台(TLP),单筒式平台(SPAR),半潜式平台(SEMI)和浮(船)式生产平台(FPSO)。
在每一大类中,又有很多不同的技术概念。
下面就不同型式的平台使用和特点分别做介绍。
图1:深水平台类型一、深海张力腿平台的发展概况及发展趋势图2:张力腿平台的发展自1954年美国的提出采用倾斜系泊方式的索群固定的海洋平台方案以来,张力腿平台(TLP)经过近50年的发展,已经形成了比较成熟的理论体系。
1984年第一座实用化TLP——Hutton平台在北海建成之后,TLP在生产领域的应用也越来越普遍,逐渐成为了当今世界深海采油领域的两大主力军之一(另一种当前广泛使用的深海采油平台是Spar,将在后面部分中进行详细介绍)。
进入上个世纪90年代之后,TLP平台的发展进一步加速,在生产区域方面,TLP的应用已经从北海和墨西哥湾扩展到了西非沿海;在平台种类方面,TLP已经在原有的传统类型TLP基础上,发展出了Mini-TLP、ETLP等多种新概念张力腿平台,加之不断地采用最新地科学技术,TLP平台在降低成本,提高适应性、稳定性和安全性地道路上取得了长足地进步。
下面将简要介绍张力腿平台的总体结构,然后对1990年之后TLP平台的发展状况进行详细的论述。
1、张力腿平台总体结构简介张力腿平台(TensionLegplatform,简称TLP)是一种典型的顺应式平台,通过数条张力腿与海底相连。
张力腿平台的张力筋腱中具有很大的预张力,这种预张力是由平台本体的剩余浮力提供的。
在这种以预张力形式出现的剩余浮力作用下,张力腿时刻处于受预拉的绷紧状态,从而使得平台本体在平面外的运动(横摇、纵摇、垂荡)近于刚性,而平面内的运动(横荡、纵荡、首摇)则显示出柔性,环境载荷可以通过平面内运动的惯性力而不是结构内力来平衡。
深水浮式平台的类型深海有着强大的油气资源储备。
不断涌现的各种新型采油平台技术促进着深海采油技术的高速发展,这些技术概括起来可分为四大类:张力腿式平台(TLP),单筒式平台(SPAR),半潜式平台(SEMI)和浮(船)式生产平台(FPSO)。
在每一大类中,又有很多不同的技术概念。
下面就不同型式的平台使用和特点分别做介绍。
图1:深水平台类型一、深海张力腿平台的发展概况及发展趋势图2:张力腿平台的发展自1954年美国的P.D.Marsh提出采用倾斜系泊方式的索群固定的海洋平台方案以来,张力腿平台(TLP)经过近50年的发展,已经形成了比较成熟的理论体系。
1984年第一座实用化TLP——Hutton平台在北海建成之后,TLP在生产领域的应用也越来越普遍,逐渐成为了当今世界深海采油领域的两大主力军之一(另一种当前广泛使用的深海采油平台是Spar,将在后面部分中进行详细介绍)。
进入上个世纪90年代之后,TLP平台的发展进一步加速,在生产区域方面,TLP的应用已经从北海和墨西哥湾扩展到了西非沿海;在平台种类方面,TLP已经在原有的传统类型TLP基础上,发展出了Mini-TLP、ETLP等多种新概念张力腿平台,加之不断地采用最新地科学技术,TLP平台在降低成本,提高适应性、稳定性和安全性地道路上取得了长足地进步。
下面将简要介绍张力腿平台的总体结构,然后对1990年之后TLP平台的发展状况进行详细的论述。
1、张力腿平台总体结构简介张力腿平台(Tension Leg platform,简称TLP)是一种典型的顺应式平台,通过数条张力腿与海底相连。
张力腿平台的张力筋腱中具有很大的预张力,这种预张力是由平台本体的剩余浮力提供的。
在这种以预张力形式出现的剩余浮力作用下,张力腿时刻处于受预拉的绷紧状态,从而使得平台本体在平面外的运动(横摇、纵摇、垂荡)近于刚性,而平面内的运动(横荡、纵荡、首摇)则显示出柔性,环境载荷可以通过平面内运动的惯性力而不是结构内力来平衡。
MOS盒子安装及使用为了规范一下MOS盒子在使用时不会出现因安装时发生的异常,下面简单的说明一下安装的步骤:一、安装MOS语音评分文件先安装MOS语音评分文件:setup_ipp30.exe安装文件,双击鼠标,出现如下图所示安装界面。
它将自动安装完成。
二、安装MOS盒子驱动将MOS盒子插入电脑USB口,在插入时电脑会出现提示:选择”否”和“下一步”,将出现如下画面,选择:从列表或指定位置安装(高级)选项,单击下一步之后将出现:点击浏览,找到指定MOS的驱动程序(mos driver)。
单击“下一步”出现:在弹出如下窗口后,驱动正在安装:在出现如上画面的是时候,点击浏览,找到mosdrive下的:usbio后,点击确定,软件开始安装,出现如下画面:点击完成,MOS 驱动已经安装在电脑上。
在设备管理器上可以看到:USBIO controlled host devices. 如下黑色圆圈区域所示:至此,MOS盒子驱动安装完毕。
三、安装MOS 盒子中USB口和A 与B两个COM 口驱动及RS232驱动在任务管理器内右键,扫描检测硬件改动,或将自动出现如下界面:点击“否”和“下一步”,在出现的对话框内选择:从列表或指定位置安装(高级)点击“下一步”在浏览内找到“FT2232C”文件夹,点击“下一步”选择继续安装,将出现如下画面:点击“完成”后,完成了COM A 口驱动程序的安装。
之后软件又弹出:点击“否”和“下一步”,在出现的对话框内选择:从列表或指定位置安装(高级)点击“下一步”在浏览内找到“cdma1x FT2232C”文件夹,点击“下一步”选择继续安装,驱动正在安装,将出现如下画面:点击“完成”后,完成了COM B 口驱动程序的安装。
至此,完成了A、B两个COM 口的驱动程序安装。
继续安装USB驱动,在装完COM B后,将再次弹出:点击“否”和“下一步”,在出现的对话框内选择:从列表或指定位置安装(高级)点击“下一步”在浏览内找到“cdma1x FT2232C”文件夹,点击“下一步”选择“继续安装”,驱动开始安装,一会将出现如下画面:点击“完成”后,完成了2个USB 口驱动程序的安装。
目录1.安装SQL SERVER 业务数据库 (2)1.1安装SQL S ERVER2000 (2)1.2安装SQL S ERVER2000SP4补丁 (8)1.3建立空数据库 (13)1.4制定自动备份计划 (19)1.5手动备份/还原数据库 (25)1.6卸载SQL S ERVER2000 (37)2.安装盛格实时数据库 (38)2.1安装盛格实时数据库 (38)2.2建立空数据库 (38)2.3制定自动备份计划 (38)2.4手动备份/还原实时数据库 (38)2.5卸载盛格实时数据库 (38)3.安装应用服务端程序 (39)3.1安装应用服务端程序 (39)3.2配置数据库接口 (39)3.3卸载应用服务端程序 (39)4.安装后台客户端程序 (39)4.1安装后台客户端程序 (39)4.2配置应用服务端接口 (42)4.3还原个性化配置文件 (43)4.4卸载后台客户端程序 (43)5安装刷卡机 (44)5.1硬件安装 (44)5.2服务端接口配置 (45)1.安装SQL Server 业务数据库1.1安装SQL Server20001、将Microsoft SQL Server 2000安装光盘放入光驱中,如果光盘没有自动运行,请进入资源管理器光盘所在目录,点击SETUP.BAT开始安装,安装程序会出现版本选择界面,以选择个人版为例。
如下图:2、在接下来的界面中选择“安装数据库服务器”选项。
如下图:其名称就显示在上面,按其默认点“下一步”。
如下图:4、选择“创建新的SQL Server实例”,点击“下一步”,如下图:5、选择同意软件许可证协议,点击“是”按钮,如下图:6、安装定义窗口请选择“服务器和客户端工具”,点击“下一步”按钮,如下图:7、在“实例名”窗口中,系统一般提供了默认的复选框,选择默认实例,点击“下一步”,如下图:8、在安装类型对话窗口中,可以设定多个选项。
比如安装组件的多少,以及安装的路径等,请根据实际需要选择。
容器编排工具Mesos的使用方法与部署指南随着容器技术的兴起以及云计算的迅速发展,容器编排工具成为企业进行应用部署和管理的重要工具之一。
Mesos作为一款开源的容器编排工具,具备高度可扩展性和可靠性,为企业提供了灵活且强大的管理方案。
本文将详细介绍Mesos的使用方法与部署指南,帮助读者更好地了解和运用该工具。
一、Mesos简介与特点Mesos是由Apache基金会开发和维护的一款开源的分布式系统内核,旨在为大规模的应用程序提供高效的资源管理。
Mesos的设计理念是将整个数据中心的资源视为一个大容器,将资源进行统一管理和分配,从而实现高效的资源利用和任务调度。
Mesos的核心特点包括:1. 高度可扩展性:Mesos支持扩展到上千台机器,能够容纳数以万计的任务。
它采用了多级调度架构,可以有效地管理和调度大规模集群中的资源。
2. 多种应用支持:Mesos不仅支持Docker等常见的容器技术,还兼容其他各类应用框架,如Hadoop、Spark等。
这使得Mesos成为一个通用的资源管理平台,可以方便地集成各种应用和服务。
3. 高可用性和容错性:Mesos的设计目标之一是提供高可用性和容错性的系统。
它采用了主从架构,主节点负责资源的调度,从节点则负责具体任务的运行。
当主节点发生故障时,从节点可以接管工作,保证整个系统的正常运行。
二、Mesos的部署与配置要使用Mesos,首先需要进行部署和配置。
以下是Mesos的部署指南:1. 下载与安装:可以从Mesos的官网上下载最新的稳定版本,然后按照官方提供的安装指南进行安装。
Mesos支持各种操作系统,如Linux、Mac OS和Windows。
2. 配置文件:在安装完成后,需要配置Mesos的相关参数。
配置文件一般位于/etc/mesos下,可以根据需求进行修改和调整。
主要的配置参数包括集群名称、IP 地址、端口号等。
3. 启动Mesos:配置完成后,可以通过执行mesos-master命令启动主节点,通过执行mesos-slave命令启动从节点。
MooseFS分布式文件系统安装向导概述Overview下面我们以step-by-step 的方式,介绍在linux 平台安装MooseFS 文件系统的基本过程。
我们假定您将以mfs 用户和mfs 组来运行MooseFS。
同时,我们推荐使用FHS(文件系统层次结构标准Filesystem Hierarchy Standard)兼容路径,并且把归档文件mfs-1.6.17.tar.gz 放置在/usr/src 目录里。
本文旨在向读者介绍怎样在多个专用服务器安装MooseFS 分布式文件系统以及在单个服务器安装Moosefs 文件系统用于测试这样的场景。
最新的MooseFS 稳定发行版本可以从/projects/moosefs/ 取得,在安装MooseFS 系统客户端时,应当确保系统已经安装了正确的fuse 版本,如果没有fuse 被安装,您可以从/projects/fuse/下载并安装它。
在专用服务器安装MooseFS 基本步骤我们假定使用的主机ip 地址分配如下:∙ 主控服务器Master server: 192.168.1.1∙ 主控备份服务器Metalogger server: 192.168.1.2∙ 存储块服务器Chunk servers: 192.168.1.101 and 192.168.1.102∙ 客户端主机(clients): 192.168.2.x主控服务器Master server 安装当我们安装主控服务器时,在配置过程中(./configure),可以取消安装chunk server (--disable-mfschunkserver)以及MooseFS 客户端(--disable-mfsmount). 安装主控服务器master 的具体步骤为:1、添加mfs 组#groupadd mfs2、新增系统用户mfs#useradd -g mfs mfs3、切换目录#cd /usr/src4、解包归档文件#tar -zxvf mfs-1.6.17.tar.gz5、进入安装目录#cd mfs-1.6.176、配置#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-user=mfs \--with-default-group=mfs --disable-mfschunkserver--disable-mfsmount7、编译并安装#make#make install成功安装master 以后,系统会在/etc 目录自动生成样例配置文件,这些样例文件是以.dist 后缀命名。
MOSES安装以及初级说明作为初学者对MOSES现在也没有什么深入的了解就在这里嫌丑,浅显的介绍一下。
首先是moses的官网:/moses/里面资料很详细,可以下载说明文档(manual.pdf)按照文档里面的提示一步步进行,一般来说整体只要依照这个步骤就没有问题我现在本机上安装的moses,然后又在服务器上进行的运行,所以安装经验是本机的,但是两面使用的搭配是一样的都是moses+boost+GIZA+++IRSTLM。
就是操作系统不一样,本机是ubuntu,而服务器是CentOS,但是基本上的过程是一样的。
一、前期安装准备1、Boost【ubuntu下】apt-get install libboost1.53-all-dev2、GIZAA++【ubuntu下】wget /files/giza-pp-v1.0.7.tar.gztar xzvf giza-pp-v1.0.7.tar.gzcd giza-ppMake在编译后会生成三个可执行文件· giza-pp/GIZA++-v2/GIZA++· giza-pp/GIZA++-v2/snt2cooc.out· giza-pp/mkcls-v2/mkcls这三个文件是在之后主要要使用的文件,可以单独把这三个文件提取出来放到一个方便的位置,不觉得麻烦的话也可以每次键入路径,不过使用频率不算高还可以。
比如说建立tools\ 把这三个文件放进去可以在编译的时候直接指出GIZA++的位置,也可以在编译的时候不指出,在使用的时候再指明,我采用的是后者。
3、IRSTLM这个我在ubuntu和centOS下都编译了,方法都很简单1)【ubuntu下】在编译IRSTLM之前,需要安装两个工具。
使用下面的命令来安装这两个工具:$ sudo apt-get install automake$ sudo apt-get install libtool接下来就可以安装IRSTLM了。
先下载软件包,下载地址为:/projects/irstlm/files/使用下面的命令进行安装:tar zxvf irstlm-5.80.03.tgzcd irstlm-5.80.03./regenerate-makefiles.sh./configure --prefix=$HOME/irstlmmake install这样就编译安装好了IRSTLM,记住irstlm的位置,以后用得到。
2)【centOS下】其实在这个下面和ubuntu里面没有什么区别step 0: sh regenerate-makefiles.shstep 1: ./configure [--prefix=/path/where/to/install]step 2: makestep 3: make install二、正式安装Moses【ubuntu下】由于moses的代码均可用git下载,所以先安装git:$ sudo apt-get install git还需要gcc, zlib and bzip2以构建moses$ sudo apt-get install build-essential libz-dev libbz2-dev然后就可以下载moses的代码了git clone git:///moses-smt/mosesdecoder.git然后进入mosesdecoder目录,编译Moses:./bjam -j4 \ --with-irstlm=/irstlm的位置 --with-giza=/giza的位置-j4是利用CPU是4核的进行编译也可以./bjam --help获取帮助如果在编译过程中遇到什么问题也许是因为一些编译必须的包没有安装成功,安装一些影响编译的包再进行编译试一下。
可以从目录下的BUILD-INSTRUCTIONS.txt获取安装的更多信息。
三、使用moses最开始除了最后翻译一步都是在本机上进行的,但是当进行到最后一步翻译就提醒内存不够了。
所以为了不折腾最好还是一开始就在服务器上跑的好。
在进行实验之前最好记住刚才安装的几个文件的目录,要不在进行接下来的步骤还要回去一个个找目录位置还是挺麻烦的。
P.s.这里w4tcy是我个人的用户文件夹Moses:/home/w4tcy/moses/因为这里主要应用的就是/scripts和/bin两个文件夹,所以可以把这两个文件夹单独提出来/home/w4tcy/moses/scripts//home/w4tcy/moses/bin/Giza++:/home/w4tcy/tools/giaz/这个只要把上文所说的三个执行文件提出即可IRSTLM:/home/w4tcy/tools/irstlm这个我建议一开始就安装到这里。
我还不太清楚利用的是里面的什么。
在这里我先使用官方提供的预料进行学习测试,因为语料使用的是官方的所以很多步骤就简单多了:1、预料的预处理在/home/w4tcy/建立一个corpus来存放学习集,官方网站下载学习资料cdmkdir corpuscd corpuswget /wmt13/training-parallel-nc-v8.tgztar zxvf training-parallel-nc-v8.tgz1)tokenisation:在预料的单词和单词之间或者单词和标点之间插入空白,然后进行后续操作。
/home/w4tcy/moses/scripts/tokenizer/tokenizer.perl -l en <training/news-commentary-v8.fr-en.en > news-commentary-v8.fr-en.tok.en /home/w4tcy/moses/scripts/tokenizer/tokenizer.perl -l fr <training/news-commentary-v8.fr-en.fr > news-commentary-v8.fr-en.tok.fr 2)Truecaser:提取一些关于文本的统计信息/home/w4tcy/moses/scripts/recaser/train-truecaser.perl --model truecase-model.en --corpus news-commentary-v8.fr-en.tok.en/home/w4tcy/moses/scripts/recaser/train-truecaser.perl --model truecase-model.fr --corpus news-commentary-v8.fr-en.tok.fr3)truecasing:将语料中每句话的字和词组都转换为没有格式的形式,减少数据稀疏性问题。
/home/w4tcy/moses/scripts/recaser/truecase.perl --modeltruecase-model.en < news-commentary-v8.fr-en.tok.en >news-commentary-v8.fr-en.true.en/home/w4tcy/moses/scripts/recaser/truecase.perl --modeltruecase-model.fr < news-commentary-v8.fr-en.tok.fr >news-commentary-v8.fr-en.true.fr4)cleaning:将长语句和空语句删除,并且将不对齐语句进行处理。
/home/w4tcy/moses/scripts/training/clean-corpus-n.perlnews-commentary-v8.fr-en.true fr en news-commentary-v8.fr-en.clean 1 80 2、语言模型训练语言模型(LM)用于确保流利的输出,在这一步使用Irstlm进行处理。
/home/w4tcy/tools/irstlm/bin/add-start-end.sh <news-commentary-v8.fr-en.true.en > news-commentary-v8.fr-en.sb.en export IRSTLM=$HOME/irstlm; /home/w4tcy/tools/irstlm/bin/build-lm.sh -i news-commentary-v8.fr-en.sb.en -t ./tmp -p -s improved-kneser-ney -onews-commentary-v8.fr-en.lm.en/home/w4tcy/tools/irstlm/bin/compile-lm --textnews-commentary-v8.fr-en.lm.en.gz news-commentary-v8.fr-en.arpa.en 经过这一步之后我们会得到一个*.arpa.en格式的语言模型文件,接下来为了程序的更快载入,使用KenLM对其进行二值化。
/home/w4tcy/moses/bin/build_binary news-commentary-v8.fr-en.arpa.en news-commentary-v8.fr-en.blm.en我们可以在这一步之后测试一下训练的模型是否正确,运用如下的linux命令:$ echo "is this an English sentence ?" | /home/w4tcy/moses/bin/query news-commentary-v8.fr-en.blm.en3、翻译模型的训练mkdir workingcd workingnohup nice /home/w4tcy/moses/scripts/training/train-model.perl-root-dir train -corpus/home/w4tcy/corpus/news-commentary-v8.fr-en.clean -f fr -e en-alignment grow-diag-final-and -reordering msd-bidirectional-fe -lm0:3:/home/w4tcy/corpus/news-commentary-v8.fr-en.blm.en:8-external-bin-dir /home/w4tcy/tools/giza >& training.out &(朱老师的修改)【特别说明先退出当前目录然后进入根目录‘../’或者退出直接到根目录去用’./’】./mosesdecoder/scripts/training/train-model.perl - root train -corpuscorpus/news-commentary-v8.fr-en.clean -f fr -e en -alignment grow-diag-final-an -reordering msd-bidirectional-fr -lm 0:3:/home/trainer1/lm/news-commentary-v8.fr-en.blm.en:8 -external-bin-dir bin/4、Tunning翻译模型回到corpus,下载开发集wget /wmt12/dev.tgztar zxvf dev.tgz在Corpus内对开发集预料进行处理/home/w4tcy/moses/scripts/tokenizer/tokenizer.perl -l en <dev/news-test2008.en > news-test2008.tok.en/home/w4tcy/moses/scripts/tokenizer/tokenizer.perl -l fr <dev/news-test2008.fr > news-test2008.tok.fr/home/w4tcy/moses/scripts/recaser/truecase.perl --modeltruecase-model.en < news-test2008.tok.en > news-test2008.true.en/home/w4tcy/moses/scripts/recaser/truecase.perl --modeltruecase-model.fr < news-test2008.tok.fr > news-test2008.true.fr在进行了和学习集相同的处理之后,对原本的moses.ini进行调优进入working文件夹然后运行nohup nice /home/w4tcy/moses/scripts/training/mert-moses.pl/home/w4tcy/corpus/news-test2008.true.fr/home/w4tcy/corpus/news-test2008.true.en /home/w4tcy/moses/bin/moses train/model/moses.ini --mertdir /home/w4tcy/moses/bin/ &> mert.out & 可在最后加上--decoder-flags="-threads 8"以使用多个线程,因为这个过程非常非常缓慢。