XML配置文件参数列表和说明
- 格式:xls
- 大小:89.50 KB
- 文档页数:26
pom.xml配置⽂件注释说明pom.xml 配置⽂件<project><parent>...</parent><modelVersion>4.0.0</modelVersion><!-- The Basics --><groupId>...</groupId><artifactId>...</artifactId><version>...</version><packaging>...</packaging><scm>...</scm><dependencies>...</dependencies><dependencyManagement>...</dependencyManagement><modules>...</modules><properties>...</properties><!-- Build Settings --><build>...</build><reporting>...</reporting><!-- More Project Information --><name>...</name><description>...</description><url>...</url><inceptionYear>...</inceptionYear><licenses></licenses><organization></organization><developers></developers><contributors></contributors><!-- Environment Settings --><issueManagement></issueManagement><ciManagement></ciManagement><mailingLists></mailingLists><prerequisites></prerequisites><repositories></repositories><pluginRepositories></pluginRepositories><distributionManagement></distributionManagement><profiles></profiles></project>详细说明<project xmlns="/POM/4.0.0"xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/POM/4.0.0/maven-v4_0_0.xsd"><!--⽗项⽬的坐标。
LabVIEW数据记录和存储(四)—XML文件XML(eXtensible Markup Language)是一种目前广泛使用的数据传输和存储的格式,其本质上是一种文本文件,可以使用任何一个文本编辑工具打开和修改。
类似于HTML,XML 被设计为具有自我描述性,也是使用标签定义文档的结构和含义。
本文仅仅是介绍LabVIEW 中对XML 文件的操作方式和支持函数,关于XML 语言本身可以参见相关书籍和文档,如W3school 网站。
在测试测量领域中,XML 文件通常被用来传递应用程序的配置文件和参数,这与ini 文件的作用类似,也有不少的程序员将二者进行对比。
这里举个简单的说明实例,说明对于ini 和XML 如何处理保存图17 所示的仪器配置列表。
该文件主要存储各种仪器的参数信息,如name(名称)、address(地址)、description(描述)。
但是文件对各种仪器进行分类,根据仪器功能分为AC Source、DC Source 等。
图17 仪器配置列表实例对ini 文件来说,表述图17所示的结构简直就是一场灾难,因为它仅仅是一种两层的结构体系,无法准确地表述这种多种的树形结构。
无论怎样设计section 和key,始终无法满足条理清晰、结构简单和检索方便的要求。
XML 由于其本身的多层次设计特点却完全能够胜任此类描述,如下所示。
- - - Instr1GPIB::1 本仪器用于UUT1 供电。
-Instr2GPIB::2 本仪器用于UUT2 供电。
- - Instr3GPIB::3 本仪器用于UUT3 供电。
- Instr4GPIB::4 本仪器用于UUT4 供电。
- - Instr5GPIB::5 测量1-10#点电压。
- -Instr6GPIB::6 监控11-12#电压。
在浏览器中(IE、Firefox 等)打开该XML 文件,可以看到其树形的结构,非常吻合图17 所示的要求。
当需要扩展仪器或类型时,只要增加相应的元素节点即可。
Spring中xml的配置(摘抄)出自:1、value元素<value/>元素通过字符串来指定属性或构造器参数的值。
<bean id="myDataSource" detroy-method="close"class="mons.dbcp.BasicDataSource"><property name="driverClassName"><value>com.mysql.jdbc.Driver</value></proerpty><property name="url"><value>jdbc:mysql://localhost:3306/mydb</value></property><property name="username"><vlaue>root</value></property></bean>2、idref元素idref元素用来将容器内其它bean的id传给<constructor-arg/>或<property/>元素,同时提供错误难功能。
<bean id="theTargetBean" class="..."/><bean id="theClientBean" class="..."><property name="targetName"><idref bean="theTargetBean" /></property></bean>等同于:<bean id="theTargetBean" class="..." /><bean id="theClientBean" class="..."><property name="targetName"><value>theTargetBean</value></bean>使用idref标记允许容器在部署时验证所被引用的bean是否存在。
mybatis中Mapper.xml配置详解前⾔我们知道,每⼀款框架产品在实际开发中,都是通过XML⽂件来培训框架的相关流程的,MyBatis也不例外,主要有两个配置⽂件:config.xml和Mapper.xml,当然,这两种配置⽂件可以⾃定义⽂件名。
c o n fi g.x ml是全局配置⽂件,主要配置My B a ti s的数据源(D a ta S o u rc e),事务管理(T ra n s a c ti o n Ma n a g e r),以及打印S QL语句,开启⼆级缓存,设置实体类别名等功能。
Ma p p e r.x ml的作⽤是什么?我们之前介绍过,My B a ti s是"半⾃动"的OR M框架,即S QL语句需要开发者⾃定义,My B a ti s的关注点在P OJ O与S QL之间的映射关系。
那么S QL语句在哪⾥配置⾃定义呢?就在Ma p p e r.x ml中配置。
⼀、p a ra me te rT y p e:参数数据类型(1)基本数据类型,通过id查询U s e r。
U s e rD A O://通过id查询Userpublic User getById(int id);U s e rD A O.x ml:<select id="getById" parameterType="int" resultType="er">select * from user where id=#{id}</select>(2)S trin g类型,通过n a me查询U s e r。
U s e rD A O://通过name查询Userpublic User getByName(String name);U s e rD A O.x ml:<select id="get2" parameterType="ng.String" resultType="er">select * from user where name = #{name}</select>(3)包装类,通过id查询U s e r。
Mybatis的配置⽂件和映射⽂件详解⼀、Mybatis的全局配置⽂件1、SqlMapConfig.xml(名称可变)是mybatis的全局配置⽂件,配置内容如下:properties(属性)settings(全局配置参数)typeAliases(类型别名)typeHandlers(类型处理器)objectFactory(对象⼯⼚)plugins(插件)environments(环境集合属性对象)environment(环境⼦属性对象)transactionManager(事务管理)dataSource(数据源)mappers(映射器)2、properties将数据库连接参数单独配置在db.properties(名称可变)中,放在类路径下。
这样只需要在SqlMapConfig.xml中加载db.properties的属性值。
这样在SqlMapConfig.xml中就不需要对数据库连接参数硬编码。
将数据库连接参数只配置在db.properties中,原因:⽅便对参数进⾏统⼀管理,其它xml可以引⽤该db.properties例如:db.propertiesjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://localhost:3306/mybatisername=rootjdbc.password=root相应的SqlMapConfig.xml<properties resource="db.properties"/><environments default="development"><environment id="development"><transactionManager type="JDBC"/><dataSource type="POOLED"><property name="driver" value="${jdbc.driver}"/><property name="url" value="${jdbc.url}"/><property name="username" value="${ername}"/><property name="password" value="${jdbc.password}"/></dataSource></environment></environments>注意: MyBatis 将按照下⾯的顺序来加载属性:⾸先、在properties标签中指定的属性⽂件⾸先被读取。
Mavensetting.xml配置⽂件详解maven的配置⽂件settings.xml存在于两个地⽅:1.安装的地⽅:${M2_HOME}/conf/settings.xml2.⽤户的⽬录:${user.home}/.m2/settings.xml前者⼜被叫做全局配置,对操作系统的所有使⽤者⽣效;后者被称为⽤户配置,只对当前操作系统的使⽤者⽣效。
如果两者都存在,它们的内容将被合并,并且⽤户范围的settings.xml会覆盖全局的settings.xml。
Maven安装后,⽤户⽬录下不会⾃动⽣成settings.xml,只有全局配置⽂件。
如果需要创建⽤户范围的settings.xml,可以将安装路径下的settings复制到⽬录${user.home}/.m2/。
Maven默认的settings.xml是⼀个包含了注释和例⼦的模板,可以快速的修改它来达到你的要求。
全局配置⼀旦更改,所有的⽤户都会受到影响,⽽且如果maven进⾏升级,所有的配置都会被清除,所以要提前复制和备份${M2_HOME}/conf/settings.xml⽂件,⼀般情况下不推荐配置全局的settings.xml。
settings.xml详解声明规范<?xml version="1.0" encoding="UTF-8"?><settings xmlns="/POM/4.0.0" xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/POM/4.0.0 /xsd/settings-1.0.0.xsd">localRepository<!-- 本地仓库的路径。
默认值为${user.home}/.m2/repository。
--><localRepository>usr/local/maven</localRepository>interactiveMode<!--Maven是否需要和⽤户交互以获得输⼊。
solrconfig.xml配置详解solrconfig.xml包含了solr中大部分的配置信息。
Solrconfig.xml, schema.xml 和所有的配置文件都在solr的conf目录下,都是可以编辑的,除了admin UI。
编辑admin ui请参加【编辑solr的admin ui配置文件.doc】。
Solrconfig.xml中的简单注释可以源代码中找到。
lib<lib>指令可以在你的solrconfig.xml中指定。
dataDir parameter除了默认目录外,指定索引存放位置,默认索引数据放在slor home下,如果使用replication ,这应该可以匹配replication 配置,如果此目录并不是绝对的,那么它是相对于你的目录中,是从您启动Solr的位置开始寻找。
说明:solr4.0以后,改变<dataDir>的值后,通过reload重新载入。
codecFactory编解码器的工厂允许你使用自定义编解码器架构。
例如:如果你想定义每indexConfig 组件这些设置控制低层次的行为的索引。
详细信息请参阅示例中的solrconf.xml注释。
说明:在solr4.0以后,这个组件也是活的装置,通过reload可动态加载。
注意:在3.6版本之前,有两个不同的部分叫< indexdefaults >和<mainindex >,而现在这一段代替 <indexconfig >。
你仍然可以使用旧的配置为在3.6和4。
x,但需要迁移时,撞lucenematchversion。
迁移的最简单的办法是先例<indexconfig >部分都有注释,使用缺省值,然后自定义如果必要的话。
Update Handler 组件“update”相关的事件监听在更新处理部分,您可以定义特定的“更新”相关的事件的听众:“postcommit”和“postoptimize”。
web.xml⽂件配置详解以及实例说明1、web.xml学名叫部署描述符⽂件,是在Servlet规范中定义的,是web应⽤的配置⽂件。
2、部署描述符⽂件就像所有XML⽂件⼀样,必须以⼀个XML头开始。
这个头声明可以使⽤的XML版本并给出⽂件的字符编码。
DOCYTPE 声明必须⽴即出现在此头之后。
这个声明告诉服务器适⽤的servlet规范的版本(如2.2或2.3)并指定管理此⽂件其余部分内容的语法的DTD(Document Type Definition,⽂档类型定义)。
所有部署描述符⽂件的顶层(根)元素为web-app。
请注意,XML元素不像HTML,他们是⼤⼩写敏感的。
因此,web-App和WEB-APP都是不合法的,web-app必须⽤⼩写。
web.xml样例:<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application //EN" "/dtd/web-app_2_3.dtd"><web-app></web-app>3、web.xml中XML 元素不仅是⼤⼩写敏感的,⽽且它们还对出现在其他元素中的次序敏感。
例如,XML头必须是⽂件中的第⼀项,DOCTYPE声明必须是第⼆项,⽽web- app元素必须是第三项。
在web-app元素内,元素的次序也很重要。
服务器不⼀定强制要求这种次序,但它们允许(实际上有些服务器就是这样做的)完全拒绝执⾏含有次序不正确的元素的Web应⽤。
这表⽰使⽤⾮标准元素次序的web.xml⽂件是不可移植的。
元素顺序列表:元素标签详解:元素1:<icon>含义icon元素包含small-icon和large-icon两个⼦元素.⽤来指定web站台中⼩图标和⼤图标的路径.<small-icon>/路径/smallicon.gif</small-icon>small-icon元素应指向web站台中某个⼩图标的路径,⼤⼩为16 X 16 pixel,但是图象⽂件必须为GIF或JPEG格式,扩展名必须为:.gif或.jpg.<large-icon>/路径/largeicon-jpg</large-icon>large-icon元素应指向web站台中某个⼤图表路径,⼤⼩为32 X 32 pixel,但是图象⽂件必须为GIF或JPEG的格式,扩展名必须为; gif或jpg.范例<icon><small-icon>/images/small.gif</small-icon><large-icon>/images/large.gif</large-icon></icon>元素2、3:<display-name>,<description>含义<display-name>应⽤名称</display-name>定义应⽤的名称。
Maven全局配置⽂件settings.xml详解⽬录⼀、概要1、settings.xml的作⽤2、settings.xml⽂件位置3、配置的优先级⼆、settings.xml元素详解1、顶级元素概览 1.1、LocalRepository 1.2、InteractiveMode 1.3、UsePluginRegistry 1.4、Offline 1.5、PluginGroups 1.6、Servers 1.7、Mirrors 1.8、Proxies 1.9、Profiles 1.10、ActiveProfiles⼀、概要1、settings.xml的作⽤它是⽤来设置Maven参数的配置⽂件。
并且,settings.xml是Maven的全局配置⽂件。
settings.xml中包含类似本地仓库、远程仓库和联⽹使⽤的代理信息等配置。
2、settings.xml⽂件位置settings.xml⽂件⼀般存在于Maven的安装⽬录的conf⼦⽬录下⾯,或者是⽤户⽬录的.m2⼦⽬录下⾯。
3、配置的优先级其实相对于多⽤户的PC机⽽⾔,在Maven安装⽬录的conf⼦⽬录下⾯的settings.xml才是真正的全局的配置。
⽽⽤户⽬录的.m2⼦⽬录下⾯的settings.xml的配置只是针对当前⽤户的。
当这两个⽂件同时存在的时候,那么对于相同的配置信息⽤户⽬录下⾯的settings.xml中定义的会覆盖Maven安装⽬录下⾯的settings.xml中的定义。
⽤户⽬录下的settings.xml⽂件⼀般是不存在的,但是Maven允许我们在这⾥定义我们⾃⼰的settings.xml,如果需要在这⾥定义我们⾃⼰的settings.xml的时候就可以把Maven安装⽬录下⾯的settings.xml⽂件拷贝到⽤户⽬录的.m2⽬录下,然后改成⾃⼰想要的样⼦。
⼆、settings.xml元素详解1、顶级元素概览<settings xmlns="/SETTINGS/1.0.0"xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/SETTINGS/1.0.0https:///xsd/settings-1.0.0.xsd"><localRepository/><interactiveMode/><usePluginRegistry/><offline/><pluginGroups/><servers/><mirrors/><proxies/><profiles/><activeProfiles/></settings>1.1、LocalRepository作⽤:该值表⽰构建系统本地仓库的路径。
sqlMapConfig.xml配置⽂件详解sqlMapConfig.xml配置⽂件详解:Xml代码Xml代码<? xml version="1.0" encoding="UTF-8" ?><! DOCTYPE sqlMapConfigPUBLIC "-////DTD SQL Map Config 2.0//EN""/dtd/sql-map-config-2.dtd" >< sqlMapConfig >< settingscacheModelsEnabled ="true" <!--是否启⽤缓存机制-- >lazyLoadingEnabled="true" <!-- 是否启⽤延迟加载机制 -->enhancementEnabled="true" <!-- 是否启⽤字节码增强机制 -->errorTracingEnabled="true" <!-- 是否启⽤错误处理机制 -->maxRequests="32" <!-- 最⼤并发请求数 -->maxSessions="10" <!-- 最⼤Session数 -->maxTransactions="5" <!-- 最⼤并发事务数 -->useStatementNamespaces="true"/> <!-- 是否启⽤名称空间 -->< transactionManager type ="JDBC" > <!-- 定义了ibatis的事务管理器有3中(JDBC,JTA,EXTERNAL) -->< dataSource type ="SIMPLE" > <!-- type属性指定了数据源的链接类型,也有3种类型(SIMPLE,DBCP,JNDI) -->< property name ="JDBC.Driver" value ="com.mysql.jdbc.Driver" />< property name ="JDBC.ConnectionURL" value ="jdbc:mysql://localhost/test" />< property name ="ername" value ="root" />< property name ="JDBC.Password" value ="wyq" />< property name ="Pool.MaximumActiveConnections" value ="10" /> <!-- 连接池维持的最⼤容量 -->< property name ="Pool.MaximumIdleConnections" value ="5" /> <!-- 连接池允许挂起的最⼤连接 -->< property name ="Pool.MaximumCheckoutTime" value ="120000" /> <!-- 连接被某个任务所允许占⽤的最⼤时间 -->< property name ="TimeToWait" value ="500" /> <!-- 线程允许等待的最⼤时间 --></ dataSource ></ transactionManager >< sqlMap resource ="com/wyq/map/userMap.xml" /></ sqlMapConfig >sqlMap节点指定了映射⽂件的位置,配置⽂件中可以定义多个sqlMap元素,以指定项⽬内所包含的所有映射⽂件.<properties>元素的配置,它提供了允许在主配置⽂件之外的⼀个“名值对”列表,可以将其中的配置信息加载进来,⽽这些配置信息可以放在任何⼀个地⽅。
Tomcat中的Server.xml配置详解Tomcat中的Server.xml配置详解Tomcat Server的结构图如下:该⽂件描述了如何启动Tomcat Server<Server><Listener /><GlobaNamingResources></GlobaNamingResources<Service><Connector /><Engine><Logger /><Realm /><host><Logger /><Context /></host></Engine></Service></Server>1、<Server>元素它代表整个容器,是Tomcat实例的顶层元素。
由org.apache.catalina.Server接⼝来定义。
它包含⼀个元素。
并且它不能做为任何元素的⼦元素。
<!-- ⼀个“Server”是⼀个提供完整的JVM的独⽴组件,它可以包含⼀个或多个“Service”实例。
服务器在指定的端⼝上监听shutdown命令。
注意:⼀个“Server”⾃⾝不是⼀个“Container”(容器),因此在这⾥你不可以定义诸如“Valves”或者“Loggers”⼦组件--><!-- 启动Server在端⼝8005处等待关闭命令如果接受到"SHUTDOWN"字符串则关闭服务器-->测试:telnet localhost 8005输⼊:SHUTDOWN结果:关闭tomcat<Server port="8005" shutdown="SHUTDOWN" debug="0">(1)className指定实现org.apache.catalina.Server接⼝的类。
web.xml文件详解一、web.xml文件介绍1.web.xml文件的作用web.xml主要用来配置Filter、Listener、Servlet等。
但是要说明的是web.xml并不是必须的,一个web工程可以没有web.xml文件。
2.WEB容器的加载过程WEB容器的加载顺序是:ServletContext -> context-param -> listener -> filter -> servlet。
在web.xml文件中最好按照这种顺序配置这些元素,以兼容较低版本的Tomcat。
3.WEB容器的启动过程WEB容器启动时,加载过程顺序如下:1.启动一个WEB项目的时候,WEB容器会去读取它的配置文件web.xml,读取<listener>和<context-param>两个结点。
2.紧急着,容创建一个ServletContext(servlet上下文),这个web项目的所有部分都将共享这个上下文。
3.容器将<context-param>转换为键值对,并交给servletContext。
4.容器创建<listener>中的类实例,创建监听器。
二、web.xml配置元素1.<web-app>根元素web.xml的模式文件是由Sun公司定义的,每个web.xml文件的根元素<web-app>中,都必须标明这个web.xml使用的是哪个模式文件。
其它的元素都放在<web-app></web-app>之中,<web-app>是根节点。
<web-app version="3.0"xmlns="/xml/ns/javaee"xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/xml/ns/javaee/xml/ns/javaee/web-app_3_0.xsd"></web-app>2.<icon>Web应用图标指出IDE和GUI工具用来表示Web应用的大图标和小图标。
MyBatis数据库查询(XML配置)⼯具类MyBatis进⾏数据库查询⼀定会⽤到SqlSessionFactory和SqlSession这两个类的对象,为了以后每次查询⽅便,就先构造有⼀个⼯具类,⽤来管理这两个对象:【SqlSessionFactory的对象是重量级的,⽽SqlSession是轻量级的】以下是⼯具类:package com.hgd;import org.apache.ibatis.io.Resources;import org.apache.ibatis.session.SqlSession;import org.apache.ibatis.session.SqlSessionFactory;import org.apache.ibatis.session.SqlSessionFactoryBuilder;import java.io.IOException;import java.io.InputStream;/** Mybatis⼯具类* 创建SqlSessionFactory对象以及获取SqlSession对象* */public class MyBatisUtils {private static SqlSessionFactory factory = null;static{InputStream is = null;String config = "mybatis-config.xml";try{is = Resources.getResourceAsStream(config);SqlSessionFactory sessionFactory =new SqlSessionFactoryBuilder().build(is);factory = sessionFactory;}catch (IOException e){e.printStackTrace();}finally{if(is!=null)try{is.close();}catch (IOException e){e.printStackTrace();}}}/** @param autoCommit 设置是否为⾃动提交* */public static SqlSession getSession(boolean autoCommit){return factory.openSession(autoCommit);}} mybatis-config.xml内容<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configurationPUBLIC "-////DTD Config 3.0//EN""/dtd/mybatis-3-config.dtd"><configuration><!--定义⼀些属性,以便于在后⾯引⽤--><properties><property name="driver" value="com.mysql.jdbc.Driver"/><property name="url" value="jdbc:mysql://localhost:3306/test"/><property name="username" value="root"/><property name="password" value="123"/></properties><!--设置--><settings><!--显⽰SQL语句,以便于调试--><setting name="logImpl" value="STDOUT_LOGGING"/></settings><environments default="development"><environment id="development"><transactionManager type="JDBC"/><dataSource type="POOLED"><property name="driver" value="${driver}"/><property name="url" value="${url}"/><property name="username" value="${username}"/><property name="password" value="${password}"/></dataSource></environment></environments><!--映射⽂件--><mappers><mapper resource="com/hgd/userMapper.xml"/><mapper resource="com/hgd/employeeMapper.xml"/><mapper resource="com/hgd/mapper.xml"/></mappers></configuration>需要查询的数据库中的user表结构:实体类User【普通JavaBean】package com.hgd;public class User {private Integer id;private String username;private String password;private String email;public User(){}public User(Integer id,String username,String password,String email){ setId(id);setUsername(username);setPassword(password);setEmail(email);System.out.println("UserCreated");}public Integer getId() {return id;}public String getUsername() {return username;}public String getPassword() {return password;}public String getEmail() {return email;}public void setId(Integer id) {this.id = id;}public void setUsername(String username) {ername = username;}public void setPassword(String password) {this.password = password;}public void setEmail(String email) {this.email = email;}@Overridepublic String toString() {return "User{" +"id=" + id +", username='" + username + '\'' +", password='" + password + '\'' +", email='" + email + '\'' +'}';}}1.利⽤默认SqlSession中的⽅法,进⾏查询 (1)根据id,查询某个User的全部字段: ①新建⼀个映射配置⽂件【userMapper.xml】<mapper namespace="${NAMESPACE}"><!--resultMap 结果映射--><select id="selectByID" parameterType="int" resultType="er">selectid,username,password,emailfrom user where id = #{id};</select></mapper>【注:实体类User⾥⾯的字段和数据库⾥⾯的列名是⼀样的,所以就不⽤再去配置resultMap了;如果不⼀样的话可以 Ⅰ使⽤别名,⽐如select e_id as id 这种,别名和实体类属性⼀致 Ⅱ再配置⼀个resultMap,⾥⾯配置清楚property和column的联系。
hdfs-site.xml基本配置参考配置参数:1、services说明:为namenode集群定义⼀个services name默认值:null⽐如设置为:ns12、nodes.<services>说明:nameservice 包含哪些namenode,为各个namenode起名默认值:null⽐如设置为nn1, nn23、node.rpc-address.ns1.nn1说明:名为nn1的namenode 的rpc地址和端⼝号,rpc⽤来和datanode通讯默认值:9000,可以设置为8020如何设置:host:port4、node.http-address.ns1.nn1说明:名为nn1的namenode 的http地址和端⼝号,web客户端默认值:50070如何设置:host:port5、node.shared.edits.dir说明:namenode间⽤于共享编辑⽇志的journal节点列表⽰例:qjournal://master:8485;slave1:8485;slave2:8485/ns16、dfs.journalnode.edits.dir说明:journalnode 上⽤于存放edits⽇志的⽬录默认值:/tmp/hadoop/dfs/journalnode/7、dfs.client.failover.proxy.provider.ns1说明:客户端连接可⽤状态的NameNode所⽤的代理类默认值:node.ha.ConfiguredFailoverProxyProvider8、dfs.ha.fencing.methods说明:HDFS的HA功能的防脑裂⽅法。
可以是内建的⽅法(例如shell和sshfence)或者⽤户定义的⽅法。
建议使⽤sshfence(hadoop:9922),括号内的是⽤户名和端⼝,注意,这需要NN的2台机器之间能够免密码登陆fences是防⽌脑裂的⽅法,保证NN中仅⼀个是Active的,如果2者都是Active的,新的会把旧的强制Kill值:sshfenceshell(/bin/true)9、dfs.ha.fencing.ssh.private-key-files说明:失效转移时使⽤的秘钥⽂件。
yarn-site.xml配置介绍yarn-site.xml 配置介绍yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明:单个容器可申请的最⼩与最⼤内存,应⽤在运⾏申请内存时不能超过最⼤值,⼩于最⼩值则分配最⼩值,从这个⾓度看,最⼩值有点想操作系统中的页。
最⼩值还有另外⼀种⽤途,计算⼀个节点的最⼤container数⽬注:这两个值⼀经设定不能动态改变(此处所说的动态改变是指应⽤运⾏时)。
默认值:1024/8192yarn.scheduler.minimum-allocation-vcoresyarn.scheduler.maximum-allocation-vcores参数解释:单个可申请的最⼩/最⼤虚拟CPU个数。
⽐如设置为1和4,则运⾏MapRedce作业时,每个Task最少可申请1个虚拟CPU,最多可申请4个虚拟CPU。
默认值:1/32yarn.nodemanager.resource.memory-mbyarn.nodemanager.vmem-pmem-ratio说明:每个节点可⽤的最⼤内存,RM中的两个值不应该超过此值。
此数值可以⽤于计算container最⼤数⽬,即:⽤此值除以RM中的最⼩容器内存。
虚拟内存率,是占task所⽤内存的百分⽐,默认值为2.1倍;注意:第⼀个参数是不可修改的,⼀旦设置,整个运⾏过程中不可动态修改,且该值的默认⼤⼩是8G,即使计算机内存不⾜8G也会按着8G内存来使⽤。
默认值:8G /2.1yarn.nodemanager.resource.cpu-vcores参数解释:NodeManager总的可⽤虚拟CPU个数。
默认值:8AM内存配置相关参数,此处以MapReduce为例进⾏说明(这两个值是AM特性,应在mapred-site.xml中配置),如下:mapreduce.map.memory.mbmapreduce.reduce.memory.mb说明:这两个参数指定⽤于MapReduce的两个任务(Map and Reduce task)的内存⼤⼩,其值应该在RM中的最⼤最⼩container之间。
HDFS之三:hdfs参数配置详解1、hdfs-site.xml 参数配置– .dir– NameNode 元数据存放位置– 默认值:使⽤core-site.xml中的hadoop.tmp.dir/dfs/name– dfs.block.size– 对于新⽂件切分的⼤⼩,单位byte。
默认是64M,建议是128M。
每⼀个节点都要指定,包括客户端。
– 默认值:67108864– dfs.data.dir– DataNode在本地磁盘存放block的位置,可以是以逗号分隔的⽬录列表,DataNode循环向磁盘中写⼊数据,每个DataNode可单独指定与其它DataNode不⼀样– 默认值:${hadoop.tmp.dir}/dfs/data– node.handler.count– NameNode⽤来处理来⾃DataNode的RPC请求的线程数量– 建议设置为DataNode数量的10%,⼀般在10~200个之间– 如设置太⼩,DataNode在传输数据的时候⽇志中会报告“connecton refused"信息– 在NameNode上设定– 默认值:10– dfs.datanode.handler.count– DataNode⽤来连接NameNode的RPC请求的线程数量– 取决于系统的繁忙程度– 设置太⼩会导致性能下降甚⾄报错– 在DataNode上设定– 默认值:3– dfs.datanode.max.xcievers– DataNode可以同时处理的数据传输连接数– 默认值:256– 建议值:4096– dfs.permissions– 如果是true则检查权限,否则不检查(每⼀个⼈都可以存取⽂件)– 于NameNode上设定– 默认值:true– dfs.datanode.du.reserved– 在每个卷上⾯HDFS不能使⽤的空间⼤⼩– 在每个DataNode上⾯设定– 默认值:0– 建议为10737418240,即10G。