WAS 5.x中数据源的配置使用及其常见问题 - 数据源
- 格式:doc
- 大小:56.00 KB
- 文档页数:5
W A S快速入门手册Document serial number【NL89WT-NY98YT-NC8CB-NNUUT-NUT108】WAS快速入门手册编写原则1.技术别人是教不会的,只有靠自己学会2.以PD为主,系统学习为辅3.给出开放问题,自己去找答案,总结经验日常维护1.安装WASa)安装, ,b)创建profilec)安装htppServer和plugind)配置集群i.高级:配置共享域e)发布程序f)配置DB数据源g)配置LDAPh)配置安全性i.与的区别ii.配置SSOi)高级:配置JMS2.升级WASa)静默安装b)升级JDK和WAS3.AIX命令a)was本身命令 startServer -trace,,等b)常用命令, ls –ltr , df –g ,tar等c)topas,vmstat,netstat等监测命令d)收集Crash,hang信息时的命令e)ulimit,crontab等系统调整,监测命令4.调优WASa)WAS上线前,参数调整i. JVM,日志等b)压力测试过程中,调整WAS参数c)WAS连接DB2,Oracle后,如何监测数据库,如果区分是WAS的问题,还是数据库的问题5.收集WAS数据a)Mustgatherb)其中难以收集数据: Crash,Hang6.分析heapdumpa)说明:本地安装 IBM Support Assistant v3b)ecurep网站7.分析Javacorea)参考Diagnostics Guideb)注意Current Thread等信息8.编写测试代码a)编写来测试页面问题b)处理乱码问题9.使用wsadmina)在window使用wsadmin,来生成javacore等数据b)高级:设置动态trace10.配置Edgea)请参见Edge 的中第七章"配置分配器组件", 和第21章"分派器的高级功能" 配置高可用性日常维护30问1.AIX上,,WAS6的安装目录的位置2.WAS6中profile的位置,profile的作用,如果创建profile3.WAS,JDK,Http Server,Plugin,GSK的版本4.collector工具可以收集的数据,不能收集什么的数据请至少列出三条。
ADMA5ADMA5104I=ADMA5104I: 已成功更新{0} 的效劳器索引条目。
此参考消息说明程序状态。
用户无需执行任何操作。
ADMA0014E=ADMA0014E: 验证失败。
{0}准备应用程序时发生验证错误。
此消息后跟详细错误消息。
请参阅此详细消息,以获取如何更正问题的指示信息。
ADMA6001I=ADMA6001I: 将开始应用程序准备工作-此参考消息说明程序状态。
用户无需执行任何操作。
ADMA0158I=ADMA0158I: [EJBDeploy] {0}当运行DeployEJBTask 时,此消息将写入日志文件。
请检查参考消息和DeployEJBTask 以前的消息,以确定是否需要执行任何更正操作。
ADMA5103E=ADMA5103E: 从配置库删除{0} 的配置数据失败。
卸载过程无法成功删除应用程序配置数据。
应用程序卸载仍将继续。
ADMA0122E=ADMA0122E: 在获取应用程序{0} 时发生意外的异常。
异常:{1}。
在获取指定的应用程序作用域时发生意外错误。
请查看并调查最初的异常。
ADMA0013E=ADMA0013E: 找不到任务{0} 的依赖性辅助控件。
为应用程序设置任务时发生错误。
如果任务提供程序提供了安装任务对象,那么请验证是否正确设置了这些对象。
ADMA0049E=ADMA0049E: 获取部署描述符{0} 的模块时发生异常传递给AppManagement MBean 的getApplicationInfo API 或getModuleInfo API 的模块唯一URI 与企业归档〔EAR〕文件中的模块不匹配时发生异常。
唯一的URI 为moduleURI+ddURI如果程序化地调用AppManagement MBean 的getApplicationInfo API 或getModuleInfo API,那么请确保传递的参数正确。
ADMA5102I=ADMA5102I: 已成功从配置库删除{0} 的配置数据。
DataX 是一款数据传输工具,它依赖于一些配置文件来设置其运行环境。
其中之一就是名为"setting.xml" 的文件。
这个文件包含了DataX 运行所需的各种配置信息,如数据源、目标、传输方式、参数设置等。
在"setting.xml" 文件中,DataX 提供了丰富的配置选项,以满足不同场景下的需求。
以下是一些常见的配置项及其说明:1. <setting>标签:这是DataX 配置文件的根元素,用于包含其他配置信息。
2. <server>标签:用于指定数据源服务器信息,包括服务器地址、端口、用户名和密码等。
这些信息通常用于连接数据库或其他数据存储系统。
3. <database>标签:用于指定目标数据库的信息,包括数据库名称、用户名和密码等。
这些信息用于将数据从源系统传输到目标数据库中。
4. <transport>标签:用于指定数据传输的方式,如SCP(Secure Copy)、FTP(File Transfer Protocol)等。
不同的传输方式适用于不同的场景,如SCP 适用于局域网内的数据传输,FTP 适用于跨网段的数据传输。
5. <parameter>标签:用于设置一些参数值,如传输文件大小、传输速率限制等。
这些参数有助于控制DataX 的传输过程,以满足特定的需求。
6. <log>标签:用于设置日志的输出方式、级别和文件名等。
日志是DataX 运行过程中的重要记录,有助于调试和排查问题。
除了以上常见的配置项,DataX 的"setting.xml" 文件还可能包含其他自定义的配置信息,具体取决于用户的需求和场景。
这些配置项可以在DataX 的官方文档或社区中查找和参考。
总的来说,DataX 的"setting.xml" 文件是设置其运行环境的重要文件,它提供了丰富的配置选项,以满足不同场景下的需求。
datax web构建任务基本流程一、前期准备在开始构建datax web任务之前,需要确保已经具备以下几点准备工作:1. 确定需要抽取的数据源:确定数据源的类型、格式和连接方式,例如数据库、文件、API等。
2. 编写数据源连接信息:准备好数据源连接的相关信息,例如数据库的连接地址、用户名、密码等。
3. 确定目标数据存储介质:确定数据抽取后的存储介质,例如数据库、文件系统等。
4. 确定数据抽取的规则和目标表结构:根据业务需求确定数据抽取的规则和目标表的结构。
二、配置datax web1. 下载并安装datax web:从datax官方网站下载datax web的安装包,并按照安装文档进行安装和配置。
2. 配置数据源连接信息:在datax web的配置文件中,填写数据源的连接信息,包括连接地址、用户名、密码等。
3. 配置目标数据存储介质:同样在配置文件中,填写目标数据存储介质的连接信息。
4. 配置任务调度信息:根据需求配置任务的调度信息,例如定时任务、任务优先级等。
三、创建任务1. 登录datax web管理界面:打开浏览器,输入datax web的访问地址,登录管理界面。
2. 创建任务:在管理界面上找到任务管理模块,点击新建任务按钮,进入任务编辑界面。
3. 填写任务基本信息:在任务编辑界面上填写任务的基本信息,包括任务名称、描述等。
4. 配置数据源和目标表信息:选择数据源和目标表的类型,并填写对应的连接信息和表结构信息。
5. 配置数据抽取规则:根据业务需求配置数据抽取的规则,例如选择需要抽取的字段、过滤条件等。
6. 保存任务:完成任务配置后,点击保存按钮将任务保存到datax web中。
四、运行任务1. 部署任务:在任务管理界面上找到已创建的任务,点击部署按钮将任务部署到datax web的任务队列中。
2. 监控任务运行状态:在任务管理界面上可以查看任务的运行状态和日志信息,以及任务的运行进度。
ODBC数据源的作⽤及配置什么是ODBC?ODBC(OpenDatabaseConnectivity,开放数据库互连)是微软公司开放服务结构(WOSA, WindowsOpenServicesArchitecture)中有关数据库的⼀个组成部分,它建⽴了⼀组规范,并提供了⼀组对数据库访问的标准 API(应⽤程序编程接⼝)。
这些API利⽤SQL来完成其⼤部分任务。
ODBC本⾝也提供了对SQL语⾔的⽀持,⽤户可以直接将SQL语句送给 ODBC。
⼀个基于ODBC的应⽤程序对数据库的操作不依赖任何DBMS,不直接与DBMS打交道,所有的数据库操作由对应的DBMS的ODBC驱动程序完成。
也就是说,不论是FoxPro、Access还是Oracle数据库,均可⽤ODBCAPI进⾏访问。
由此可见,ODBC的最⼤优点是能以统⼀的⽅式处理所有的数据库。
它可以连接各类数据库,甚⾄包括EXCEL和⽂本。
它提供统⼀的使⽤⽅法给程序,程序如果使⽤ODBC操作实际数据库,不管后台数据库是DB2还是SQL Server,或者升级了,程序⼏乎都可以以不变应万变。
⼀个完整的ODBC由下列⼏个部件组成:1. 应⽤程序(Application)。
2. ODBC管理器(Administrator)。
该程序位于Windows95控制⾯板(ControlPanel)的32位ODBC内,其主要任务是管理安装的ODBC驱动程序和管理数据源。
3. 驱动程序管理器(DriverManager)。
驱动程序管理器包含在ODBC32.DLL中,对⽤户是透明的。
其任务是管理ODBC驱动程序,是ODBC 中最重要的部件。
4. ODBCAPI。
5. ODBC驱动程序。
是⼀些DLL,提供了ODBC和数据库之间的接⼝。
6. 数据源。
数据源包含了数据库位置和数据库类型等信息,实际上是⼀种数据连接的抽象。
应⽤程序要访问⼀个数据库,⾸先必须⽤ODBC管理器注册⼀个数据源,管理器根据数据源提供的数据库位置、数据库类型及ODBC驱动程序等信息,建⽴起ODBC与具体数据库的联系。
contextcapture数据处理及电脑配置常见问题汇总ContextCapture数据处理及电脑配置常见问题汇总 - 成都途远GIS-助力实景三维中国建设2)ContextCapture可以混合不同来源,不同分辨率的照片建模吗?例如,地面照片和航拍影像结合?可以。
首先,两张照片的分辨率和视角不能相差太大,分辨率差异小于5倍。
然后,是空三前需要在surveys界面,添加连接点。
接着空三时基于使用“关键点”对照片进行特征检测。
3)全景图ContextCapture可以使用吗?可以处理由全景相机拍摄的图像,但必须使用每个相机的单独拍摄的图像。
无法使用拼接的360图像。
4)是否可以使用 RAW 照片(14 位、16 位、HDR)?可以,新版本的ContextCapture支持 RAW 照片。
ContextCapture 兼容的原始格式有 RW2 (Panasonic)、CRW (Canon)、CR2 (Canon)、NEF (Nikon)、ARW (Sony) 和 3FR (Hasselblad)。
目前,ContextCapture 可以输入 16 位Tiff,但它们将被压缩为 8 位 Tiff,用于 3D 模型生成纹理。
5)是否可以视频制作 3D 模型?可以,新版本的 ContextCapture 支持的视频格式列表:AVI、MPG、MP4、WMV、MOV。
6)ContextCapture空三分层失败ContextCapture空三问题可参考这篇:空三分层?空三失败?POS问题?7)ContextCapture出正射影像全是黑色?ContextCapture出DOM前需要进行一次三维重建,而且提交的正射生产项目必须和三维重建在同一个重建项目下。
8)ContextCapture出正射影像瓦片怎么拼接成一张?ArcGIS,Global Mapper等软件都可以进行拼接。
可参考这篇:Global Mapper常见技巧汇总(常见格式转换,影像拼接,几何纠正…)9)ContextCapture空三质量报告中文版空三质量报告参考这篇:CC质量报告完整中英对照以及详解10)ContextCapture 是否可以使用已在 Photoshop 或其他程序中完全编辑和修改的图像创建模型,或者是否需要未编辑的原始图像文件/信息?为了保持照片的几何精度(以及最终 3D 模型的质量),只允许进行辐射编辑(对比度、亮度、饱和度等)。
datax教程datax教程是一个强大的数据集成工具,可以实现不同数据源之间的数据传输和同步。
以下是一些常见的操作步骤及相关注意事项。
1. 安装和配置datax:- 首先,确保你的机器上已经安装了Java环境;- 下载datax的安装包,并解压到指定的目录;- 配置datax的运行参数,如JVM内存参数等。
2. 创建数据源:- 在datax的配置文件中,配置源数据源和目标数据源的信息; - 源数据源可以是MySQL、Oracle、Hive等常见的数据库,目标数据源可以是HDFS、Hive等。
3. 定义数据同步任务:- 在数据源配置好之后,需要定义数据同步任务,即指定需要抽取的表和字段、以及映射关系等;- 任务的配置文件可以使用JSON或者XML格式,根据实际需求选择适合的格式。
4. 运行datax任务:- 检查配置文件是否正确配置,确保源数据可用;- 使用命令行工具,运行相应的datax任务,等待任务完成。
5. 监控和调优:- 在任务运行过程中,可以通过datax提供的日志文件查看任务的运行状况;- 可以根据实际情况进行调优,如调整并发线程数、增加任务重试次数等。
注意事项:- 确保源数据和目标数据的连接信息正确,并且有相应的访问权限;- 在配置datax任务时,注意检查字段映射关系是否正确,避免数据丢失或错误;- 需要定期备份datax的配置文件和日志文件,以防止意外情况发生;- 多个datax任务同时运行时,需要注意资源使用情况,并进行适当的资源调度。
以上就是关于datax教程的一些操作步骤和注意事项,希望对你有所帮助!。
WAS 5.x中数据源的配置使用及其常见问题 - 数据源 本文将介绍WAS 5.x版本中数据源的配置和使用方法,并结合实际客户遇到的常见问题进行一些讨论,以使更多用户能在WAS上顺利的配置和使用数据源。 1.简单原理和背景介绍 1.1 什么是数据源?为什么要使用数据源? 我们先来看一下使用JDBC1.0的时候,一般是怎样来连接数据库的。 代码片断示例1: java.sql.Connection con = null; try { Class.forName("COM.ibm.db2.jdbc.app.DB2Driver"); con = java.sql.DriverManager.getConnection("jdbc:db2:DBName"); } catch (Exception e) { System.err.println("Exception: " + e.getMessage()); } 由于建立一个数据库连接是一种比较耗时的操作,在使用JDBC1.0的时候,如果要提高性能就需要应用程序自己对连接进行缓存处理。但是在JDBC2.0 以一个附加的 API 的方式引入了标准连接池的特性,这个 附加的 API 叫做 JDBC 2.0 可选包(也称作 JDBC 2.0 标准扩展)。这样对于支持JDBC2.0的数据库(一般是指JDBC驱动程序支持),WebSphere应用服务器提供了连接池的支持。JDBC2.0 API 为连接池提供了一个客户端和一个服务器端的接口。 客户端接口是 javax.sql.DataSource,通常就是应用代码用来请求一个缓冲了的数据库连接的东西。这个数据源就是生成数据库连接对象的工厂。服务器接口是 javax.sql.ConnectionPoolDataSource,通常是大多数应用服务器和数据库JDBC驱动打交道的接口。 连接池可改进任何需要连接的应用程序(特别是基于 Web 的应用程序,Web 用户的连接和断开更为频繁)的响应时间。因为连接池的实现,在客户端调用 close()方法的时候实际上并不关闭连接,而是把连接返回到一个可重用连接的连接池中给其它客户端使用。这样就避免了任何重复打开和关闭数据库连接造成的开销,并且允许大量的客户端分享相对较少的数据库连接,从而提高数据库操作的性能。为了使用应用服务器提供的连接池功能,我们需要先定义相应的数据源。数据源在WebSphere应用服务器中作为资源存在,因此可以统一通过JNDI来查询它们。 使用数据源的代码片断示例2: try{ javax.naming.InitialContext ctx = new javax.naming.InitialContext(); javax.sql.DataSource ds = (javax.sql.DataSource)ctx.lookup("jdbc/DSName"); java.sql.Connection con = ds.getConnection(); }catch(javax.naming.NamingException e1){ System.err.println("Naming-Exception: " + e1.getMessage()); }catch (java.sql.SQLException e2) { System.err.println("Naming-Exception: " + e2.getMessage()); }
//装载JDBC驱动程序 java.sql.DriverManager.registerDriver(new oracle.jdbc.driver.OracleDriver()); //设置数据库连接字符串 java.lang.String strConn = "jdbc:oracle:thin:@hostname/IP:1521:SIDName"; //连接数据库 java.sql.Connection sqlConn = java.sql.DriverManager.getConnection(strConn,"userName","passWord"); 这种方式需要把数据库的用户名和口令放在程序的源代码中。而在WebSphere应用服务器中我们可以在定义数据源的时候通过J2C认证的方式配置数据库访问别名,从而提升安全性。另外,这种方法也更灵活,如果数据库用户名或口令发生变化不需要更改应用程序代码。 1.2 WebSphere应用服务器中数据源所处的位置 很多人在刚开始配置WebSphere应用服务器数据源时对J2C认证别名很不习惯,觉得JDBC的东西怎么会与J2C扯上关系。我们知道基于J2EE的WEB应用在与后台EIS(企业信息系统)集成的过程中,根据EIS的不同主要有三种连接方式,分别是JDBC,JCA/J2C和JMS。从理论上讲,JDBC驱动程序是可能归纳成一种特殊的JCA连接器,只不过这个连接器后面恰好连接着关系型数据库。至于实际标准如何发展,让我们拭目以待。下面我们看一下WebSphere应用服务器中数据库连接及持久性管理的示意图。 2.如何在WebSphere应用服务器中配置数据源 我们首先概要的看一下在WebSphere应用服务器中配置和使用数据源所涉及的几个环节。一般的,配置数据源的基本步骤如下: 首先要确认所用的数据库是支持JDBC2.0的,并确保我们的操作系统环境设置为支持 JDBC 2.0。这是使用 WebSphere应用服务器创建的数据源所必需的。这一点在使用UDB DB2 7.2的时候尤其要注意。 要确定使用哪个数据源:数据源V4.0还是 V5.0 数据源。 数据源V4.0是使用 WebSphere 旧连接管理器体系结构的 WebSphere 4.x 中的数据源,所有的 EJB1.x 模块都必须使用此数据源。 WebSphere应用服务器5.x提供对 V4.0 的 JDBC 连接管理器模型的支持,使得 J2EE 1.2 应用程序能够不经改变地运行。WAS 5.x 也支持J2EE 1.3的应用, J2EE 1.3 应用程序内的 EJB 2.0 模块,WEB 2.3模块需要使用 V5.0的JDBC 连接管理器。 创建 JDBC 提供程序。JDBC提供程序指的是JDBC驱动程序的类型及其相应的驱动程序实现JAVA包。 创建数据源。数据源是在提供特定 JDBC 驱动程序实现类的 JDBC 提供程序下创建的。 绑定资源引用。J2EE 1.3标准推荐使用数据源的引用而不是直接使用数据源的名称。 测试连接。WebSphere应用服务器5.0.x及5.1提供了数据源配置页面上提供了测试数据源连接的测试按钮。 接下来,我们对数据源配置中的最为重要的两步,即创建 JDBC提供程序时的配置步骤和创建数据源时的配置过程进行详细描述。 2.1 配置JDBC提供程序 如果是第一次配置数据源连接,需要配置JDBC提供程序。配置JDBC提供程序的步骤如下:登录WAS管理控制台页面,单击资源 -> JDBC 提供程序 -> 选择相应的作用域 -> 新建 -> 选择相应的JDBC提供程序类型。 2.1.1 选择JDBC提供程序的作用域 指定JDBC提供程序的作用域,如下图所示。 的设置取决于实际WebSphere应用服务器的拓扑结构。一般有以下三种作用域: 单元 最常规的作用域。在“单元”作用域上定义的资源对于所有节点和服务器都是可见的,除非它们被覆盖了。要查看单元作用域中定义的资源,不要在作用域选择表单中指定服务器或节点名。 节点 多数资源类型的缺省作用域。在“节点”作用域上定义的资源覆盖任何在“单元”作用域上定义的重复项,并且对于相同节点上的所有服务器都是可见的,除非它们在该节点上的服务器作用域中被覆盖了。要查看节点作用域中定义的资源,不要指定服务器,但是要在作用域选择表单中选择节点名。 服务器 定义资源的最特定作用域。在“服务器”作用域上定义的资源覆盖任何在“单元”作用域或父“节点”作用域上定义的重复资源定义,并且它们仅对于特定服务器是可见的。要查看服务器作用域中定义的资源,在作用域选择表单中指定服务器名和节点名。 以看出上面三个作用域的范围逐渐递减,并且同名的资源以最小范围的为准。这个有点类似编程语言中变量的作用域。根据上面作用域的范围的描述,在单节点的情况下,一般选用“节点”。如果只有一个应用服务器实例也可以选择“服务器”。在多个节点构成的单元中,可以分别在每个节点上分别定义,也可以选择“单元”作用域一次性定义。 2.1.2 选择JDBC提供程序 使用下拉列表选择要创建的 JDBC 提供程序类型,如下图所示。 如果支持的 JDBC 提供程序类型列表不包含我们要使用的 JDBC 提供程序,则选择用户定义的 JDBC 提供程序(User-defined JDBC Provider)。如果数据源需要两阶段提交(2PC)的支持,那么在选择JDBC驱动程序时需要选择带XA支持的驱动程序。请查询 JDBC 提供程序供应商文档以获取特定的必需属性信息。 2.1.3 JDBC提供程序的属性 JDBC提供程序的常规属性页如下图所示: 这个页面中最为重要的设置是类路径。它是指定共同组成资源提供程序类的位置路径或 JAR 文件名的列表,也即JDBC驱动程序类包。大部分常见数据库的JDBC驱动程序都以jar文件或zip文件的形式提供。例如 DB2 7.2的JDBC驱动程序文件名为db2java.zip,Oracle 8.1.7的JDBC驱动程序文件名为classes12.zip,Sybase 12的JDBC驱动程序文件名为jconn2.jar等。在WebSphere应用服务器5.1中,类路径的缺省值反映了相应数据库更新的JDBC驱动程序,例如Oracle 9i的ojdbc14.jar。类路径缺省值中还带有一个相应的WebSphere变量,我们可以用绝对路径替换或定义此WebSphere变量的值。 实现类名指定 JDBC 驱动程序实现的 Java 类名。此类可用于上面的“类路径”描述中提到的驱动程序文件,例如 COM.ibm.db2.jdbc.DB2XADataSource。一般不需要手工填入,采用缺省值即可。但是如果前面JDBC提供程序类型选了User-defined JDBC Provider的话就需要自己修改这个值。 修改完这些属性之后按确定并保存就完成了JDBC提供程序的配置。这样我们就可以在JDBC提供程序的列表中找到我们定义的JDBC提供程序(注意选择正确的作用域并点击应用按钮)。 2.2 配置数据源 创建 JDBC 提供程序后,我们就可以创建数据源以访问后端数据存储。创建新的 V 5.0 数据源的步骤基本如下: 打开WAS5.x管理控制台。 单击资源 -> JDBC 提供程序。