1.需要的包
unixODBC源码包unixODBC-2.2.14.tar.gz
linux下的postgresql 的ODBC 驱动psqlodbc-07.03.0200.tar.gz
下载地址
https://www.doczj.com/doc/fb17654047.html,/mirrors/postgresql/
以下配置要求root用户
2.安装unixODBC(ODBC管理工具)
解压
tar xzf unixODBC-2.2.14.tar.gz
进入解压目录
Cd unixODBC-2.2.14
配置
CC='gcc -m32' ./configure --enable-gui=no --libdir=/usr/lib //编译64位时改为–m64 编译
make
安装
make install
3.安装ODBC驱动
unixODBC 提供了Linux 对ODBC 的支持,但它只是一个ODBC的管理器, 要连接
实际的数据库还得提供这种数据库的ODBC 驱动。
psqlodbc就是Linux 下用于连接postgresql的免费ODBC 驱动。
注意, 必须先装unixODBC, 再装psqlodbc
解压
tar psqlodbc-07.03.0200.tar.gz
进入解压目录
cd psqlodbc-07.03.0200
配置psqlodbc-07.03.0200
CC='gcc -m32' ./configure --with-unixodbc //32位的
编译
make
安装
make install
4.配置unixODBC
5.1添加postgresql 驱动
vi etc/odbcinst.ini
写入如下内容
[ODBC]
Trace = yes
TraceFile = /usr/local/etc/sql.log
[ODBCPostgres]
Description = ODBC for PostgreSQL
Driver = /usr/local/lib/libodbcpsql.so.1.0.0
Setup = /usr/local/lib/libodbcpsqlS.so.1.0.0
UsageCount = 1
CPTimeout = 5
CPReuse = 5
FileUsage = 1
保存退出
5.2添加DSN
vi etc/odbc.ini
写入如下内容
[Postgres]
Driver = ODBCPostgres
Description = SQLSERVER
Servername = 10.8.1.122
Database = tempdb
Port = 5432
ReadOnly = No
注意Driver驱动要写odbcinst.ini中的驱动名称，Database是数据库的名称，然后保存并退出；测试ODBC的连接
isql -v Postgres postgres 123456
会显示如下信息
—————————————————————
| Connected! |
| |
| sql-statement |
| help [tablename] |
| quit |
测试通过；下面就可以使用psqlodbc的api开发连接postgresql数据库的程序了，可以使用c、c++编写。
5.例子文件
6.相关包
前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用，而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用 mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了，这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质，官网地址如下： MySQL下载地址：https://www.doczj.com/doc/fb17654047.html,/downloads/
默认进入的页面是企业版，这个是要收费的，这里一般建议选择社区开源版本，土豪公司除外。
然后选择相应的版本，这里我们选择通用的Server版本，点击Download下载按钮，将安装包下载到本地。 下载完成，上传至我们要安装的系统目录。 这里，需要提示下，一般在Linux系统中大型公用的软件安装在/opt目录中，比如上图我已经安装了Sql Server On linux，默认就安装在这个目录中，这里我手动创建了mysql目录。 将我们下载的MySQL安装介质，上传至该目录下。
安装流程 1、首先解压当前压缩包，进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样，我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。
NTP时间同步配置说明 目录 1.1 Linux NTP Server配置 (1) 1.2 AIX系统时间配置 (2) 1.3 Linux系统时间同步配置 (4) 1.4 Windows 2003系统时间同步配置 (5) 1.5 Windows 7 & Windows 2008系统时间同步配置 (9) 1.6 ESXi系统时间同步配置 (14) 1.7 Suse Linux 系统时间同步配置 (16) 1.8 HP-UX NTP配置 (18) 1.1 Linux NTP Server配置 1.检查NTP安装包 #rpm -qa | grep ntp ntp-4.2.6p5-10.el6.x86_64 ntpdate-4.2.6p5-10.el6.x86_64 2.NTP配置文件/etc/ntp.conf #vim /etc/ntp.conf driftfile /var/lib/ntp/drift 例：restrict 11.1.71.0 mask 255.255.255.0 nomodify noquery notrap #设置向11.1.71.1-11.1.71.254段的主机提供NTP同步服务 server 210.72.145.44 #中国国家授时中心IP server [local IP address] prefer #prefer 表示优先使用此地址进行时间同步 Server 127.127.1.0 # local clock #外界同步源不可用时将用本地时间提供时间同步服务fudge 127.127.1.0 stratum 2 #stratum是定义时间服务器层级，0表示为最顶级；如果需要从别的NTP服务器更新时间，请修改为非0 SYNC_HWCLOCK=yes #允许BIOS与系统时间同步，也可以通过hwclock -w命令
实验二Linux基本网络配置 一、实验内容 1.linux图形界面方式和命令方式下对网络的配置 2.网络配置文件的含义 二、实验目的及要求 1.掌握在图形界面方式配置网络 2.掌握在命令方式下配置网络 3.理解网络配置文件的含义 三、实验环境及条件 软件：PC 机+操作系统RHEL5 。 四、实验实施步骤 1.图形界面方式配置网络 对一个Linux系统进行网络配置，配置的主要参数如下： 网络IP地址：10.10.52.* 子网掩码：255.255.255.0 默认网关：10.10.52.1 DNS服务器地址：192.168.1.13，192.168.1.14，202.99.160.68 启动redhat-config-network管理工具，方法有以下两种： 1）依次单击面板上的“主菜单→系统设置→网络”，可打开如图对话框。 2）在终端的提示符下输入“redhat-config-network”命令，可打开如图对话框。
2、使用常用命令配置网络 (1)hostname # hostname “你自己的名字”(2)ifconfig （3）ifconfig eth0 10.10.52.*/24
(4)为一块网卡设置多个ip地址 Ifconfig eth0:1 *.*.*.*/24 Ifconfig eth0:2 *.*.*.*/24 (5)添加网关 route add default gw 10.10.52.1 (6)ifup和ifdonw
(7) ping 3、熟悉网络配置文件 （1）请修改网络设置文件/etc/sysconfig/network 中的主机名为linux （2）请修改网络配置文件/etc/sysconfig/network-scripts/ifcfg-eth0 ，将网络配置dhcp改成static配置，增加IPADDR为10.10.52.*，增加NETMASK为255.255.255.0，增加GATEWAY为10.10.52.1 （3）请修改配置DNS客户文件/etc/resolv.conf，DNS服务器为192.168.1.13，192.168.1.14，202.99.160.68 （4）将网络服务重新启动：service network restart 五、思考题 在局域网中有一台Linux主机，其通过网关连接到互联中，现在该Linux主机不能通过浏览器访问到互联网中的某个站点，通常如何查找故障？
Linux下多网段Nat实现与应用 Iptables/netfilter是一个可以替代价格昂贵的商业防火墙的网络安全保护解决方案，能够实现数据包过滤、数据包重定向和网络地址转换（NAT）等多种功能。 准备： 操作系统安装光盘：CentOS-6.1版本 硬件要求：dell poweredge 410（需双网卡） 实现功能： 192.168.11.0/24、192.168.10.0/24网段通过防火墙NAT转换访问外网，并实现数据包过滤。 过程： 步骤#1. 安装操作系统（最基本安装即可） 步骤#2. 设置网卡地址 外网eth0 IP:xx.xx.xx.xx 内网eth1 IP:172.16.1.254 网卡路径：/etc/sysconfig/network-scripts DEVICE=eth0 HWADDR=00:0e:0c:3a:74:c4 NM_CONTROLLED=yes ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPV6INIT=no USERCTL=no IPADDR=xx.xx.xx.xx NETMASK=255.255.255.252 DEVICE=eth1 HWADDR=00:0e:0c:3a:74:c4 NM_CONTROLLED=yes ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPV6INIT=no USERCTL=no IPADDR=172.16.1.254 NETMASK=255.255.255.0 步骤#3. 添加路由 把路由写到 /etc/rc.d/rc.local文件里，这样每次启动就不用重新设置了。 route add -net 172.16.1.0 netmask 255.255.255.0 gw 172.16.1.1 route add -net 192.168.11.0 netmask 255.255.255.0 gw 172.16.1.1 route add -net 192.168.10.0 netmask 255.255.255.0 gw 172.16.1.1 route add default gw 60.190.103.217 172.16.1.1是交换机与Linux的内网网卡接口的地址
Hadoop全分布式安装配置 一实验目的： 1、了解Hadoop的体系结构、组成； 2、熟练掌握Hadoop的配置、安装方法； 3、通过安装Hadoop了解Hadoop的原理； 二实验内容： 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可以不同。 NameNode：192.168.198.2 主机名：master DataNode1：192.168.198.3 主机名：slaver1 DataNode2：192.168.198.4 主机名：slaver2 三实验环境： 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程： 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件
在三台机器上配置相同的hosts文件 （1）修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 （2）修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip：sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0
中国银联电子支付研究院 基于云计算的电子支付和电子商务综合服务平台生产环境NTP主备服务器配置文档 第0.02版 中国银联电子支付研究院 二〇一四年十一月二十五日
版本控制信息
文档安全控制信息
目录 版本控制信息 (1) 1概述 (1) 2NTP主服务器配置 (1) 3NTP备服务器配置 (1) 4NTP客户端配置 (2) 5更新基线文档 (4)
1概述 本文档是生产环境NTP主备服务器配置文档。 生产环境NTP主备服务器基本信息如下： 2 NTP主服务器配置 1.备份ntp服务配置文件 A0309005:~ # cp /etc/ntp.conf /etc/ntp.conf_20130805.bak 2.修改ntp服务配置文件 A0309005:~ # cat /etc/ntp.conf server 144.0.252.7 restrict default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict 145.240.0.0 mask 255.255.0.0 nomodify restrict 144.240.0.0 mask 255.255.0.0 nomodify driftfile /var/lib/ntp/drift/ntp.drift logfile /var/log/ntp 3.重启ntp服务 A0309005:~ # service ntp start A0309005:~ # chkconfig ntp on 3 NTP备服务器配置 1.备份ntp服务配置文件 A0309006:~ # cp /etc/ntp.conf /etc/ntp.conf_20130805.bak 2.修改ntp服务配置文件 A0309006:~ # cat /etc/ntp.conf server 144.0.252.7 restrict default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict 145.240.0.0 mask 255.255.0.0 nomodify restrict 144.240.0.0 mask 255.255.0.0 nomodify driftfile /var/lib/ntp/drift/ntp.drift
本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。
5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。
Linux NTP配置方法 一、配置Linux异构网络下的ntp时间服务器 1. 软件下载安装 以源代码为例 #/tmp/wget https://www.doczj.com/doc/fb17654047.html,/ntp_chinese/down/server/ntp-4.2.0.tar.gz # tar -zxvf ntp-4.2.0.tar.gz –C /usr/local/src;cd /usr/local/src/ntp-4.2.0 2. 开始设定参数、编译与安装： #./configure --prefix=/usr/local/ntp --enable-all-clocks --enable-parse-clocks make clean ; make make check make install 安装完成。 注:其实在我们安装Linux系统的时候，已经自带了ntp软件包， 我们可以通过rpm -q ntp命令来查询 例如：[root@Oracle ~]# rpm -q ntp ntp-4.2.0.a.20040617-4.EL4.1 二、理解NTP服务的配置文件 1．NTP软件包的结构和相关命令 NTP服务的配置文件包括四个文件如表2 。
表2 NTP服务的配置文件 与 NTP 及系统时间有关的执行文件包括几个文件如表3 。 q表3 与 NTP 及系统时间有关的执行文件 说明：Linux 时钟类型在分类和设置上却和Windows大相径庭。和Windows不同的是，Linux将时钟分为系统时钟(System Clock)和硬件(Real Time Clock，简称RTC)时钟两种。系统时间是指当前Linux Kernel中的时钟，而硬件时钟则是主板上由电池供电的那个主板硬件时钟，这个时钟可以在BIOS的“Standard BIOS Feture”项中进行设置。当Linux启动时，硬件时钟会去读取系统时钟的设置，然后系统时钟就会独立于硬件运作。 2．理解NTP服务端的设置文件/etc/ntp.conf 关于权限设定部分 权限的设定主要以 restrict 这个参数来设定，格式如下：
Linux 网络接口2012-06-21 10:29:45 分类：LINUX 在 Linux 中，所有的网络通讯都发生在软件接口与物理网络设备之间。与网络接口配置相关的文件，以及控制网络接口状态的脚本文件，全都位于 /etc/sysconfig/netwrok-scripts/ 目录下。虽然在不同的系统之间，这些文件的类型和数量并不一定相同，但大致来讲，都包含以下几类与网络相关的配置文件： 1.网络接口配置文件 2.网络接口控制脚本 3.与网络相关的函数库文件(function files) 各种的网络设备都需要用到这些文件保证设备的正常动作 本章将深入探讨这些文件的用途，以及使用它们的方式。 Linux 网络接口 网络接口配置文件 在 Linux 中，网络接口配置文件用于控制系统中的软件网络接口，并通过接口实现对网络设备的控制。当系统启动时，系统通过这些接口配置文件决定启动哪些接口，以及如此对这些接口进行配置。 在 Linux 中，网络接口配置文件用于控制系统中的软件网络接口，并通过这些接口实现对网络设备的控制。当系统启动时，系统通过这些接口配置文件决定启动哪些接口，以及如何对这些接口进行配置。接口配置文件的名称通常类似于 ifcfg-
以太网接口 在所有的网络配置文件中，最常用的就是 ifcfg-eth0，因为它是系统中第一块网卡的配置文件。如果系统中有多块网卡，ifcfg-eth 后面的数字就会依次递增。正因为每个设备都有对应的一个配置文件，因此管理员也能够单独地控制每一个设备。 以下是一个 ifcfg-eth0 配置文件的示例，在配置中已经为网卡设置好了 IP 地址。 DEVICE=eth0 BOOTPROTO=none ONBOOT=yes NETWORK=10.0.1.0 NETMASK=255.255.255.0 IPADDR=10.0.1.27 USERCTL=no // 是否允许非root用户控制网卡 在接口配置文件中，选项之间存在着一些关联，如果不像上例中那样使用固定 IP，使用 DHCP 获取 IP 地址的配置文件又会不一样。以下就是将网卡配置成通过 DHCP 获取 IP 地址的配置： DEVICE=eth0 BOOTPROTO=dhcp ONBOOT=yes 使用网络管理工具(system-config-network) 对网络接口文件进行更改是比较方便的一种方式，但通过学习手动更改配置文件，能够更好的在各种 Linux 发行版中执行网络配置的工作。 有关网络管理工具的使用方法，可以参考下一章翻译文档 - 《Fedora/Linux 网络配置工具》 下面是以太网接口配置文件中常用的一些选项：
hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录
4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压
NTP SERVER和CLIENT配置 1NTPSERVER配置 1.1.Windows下配置NTP SERVER 环境：WindowsServer 2012 R2 【运行】-【regedit】打开注册表 1)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\TimeProviders\NtpServer的Enabled的值为1 2)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的"AnnounceFlags"值为【5】 3)修改
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的MaxNegPhaseCorrection值为【ffffffff】,十六进制。 4)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的 MaxPosPhaseCorrection值为【ffffffff】,十六进制。 5)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的 UpdateInterval值为【a】,十六进制。 6)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\W32Time \Config\LocalClockDispersion 的值为【0】。， 7)【gpedit.msc】打开组策略编辑器，依次展开【计算机配置】-【管理模板】
linux配置防火墙详细步骤(iptables命令使用方法) 通过本教程操作，请确认您能使用linux本机。如果您使用的是ssh远程，而又不能直接操作本机，那么建议您慎重，慎重，再慎重！ 我们来配置一个filter表的防火墙. (1)查看本机关于IPTABLES的设置情况 [root@tp ~]# iptables -L -n Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain RH-Firewall-1-INPUT (0 referenc es) target prot opt source destination ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0 icmp type 255 ACCEPT esp -- 0.0.0.0/0 0.0.0.0/0 ACCEPTah--0.0.0.0/00.0.0.0/0 ACCEPTudp--0.0.0.0/0224.0.0.251udpdpt:5353 ACCEPTudp--0.0.0.0/00.0.0.0/0udpdpt:631 ACCEPTall--0.0.0.0/00.0.0.0/0stateRELATED,ESTABLISHED ACCEPTtcp--0.0.0.0/00.0.0.0/0stateNEWtcpdpt:22 ACCEPTtcp--0.0.0.0/00.0.0.0/0stateNEWtcpdpt:80 ACCEPTtcp--0.0.0.0/00.0.0.0/0stateNEWtcpdpt:25 REJECTall--0.0.0.0/00.0.0.0/0reject-withicmp-host-prohibited
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.doczj.com/doc/fb17654047.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.doczj.com/doc/fb17654047.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.doczj.com/doc/fb17654047.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
NTP时间服务器学习笔记 引言 NTP时间服务器就是提供时间授权（对时）的服务器，它可以用Linux或Windows系统来架设。总来说NTP时间服务器理解和配置都相对简单，我们只在此提醒一点NTP通信端口采用udp的123端口。以下我们以Windows 2008/Redaht5.4作为时间服务器为服务端，Linux和Windows系统为客户端来学习一下。 服务端 Windows NTP服务器 默认情况下，独立服务器WINDOWS SERVER 2008是作为NTP客户端工作的，所以必须通过修改注册表，以使系统作为NTP服务器运行。工作之前请先备份注册表文件。 1、修改以下选项的键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServe r内的[Enabled]设定为1。打开NTP服务器功能（默认是不开启NTP Server服务，除非电脑升级成为域控制站）。 2、修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config\AnnounceFlags 设定为5．该设定强制主机将它自身宣布为可靠的时间源，从而使用内置的互补金属氧化物半导体(CMOS) 时钟。如果要采用外面的时间服务器就用默认的a值即可． # 210.72.145.44 (国家授时中心服务器IP地址) 3、修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Parameters\Type内的[Type]设定为NTP。 4、重启Win32Time服务：先关闭windows time 服务，再开启该服务。可以在“管理工具”的“服务”界面下完成，也可以以DOS 方式输入“net stop w32time”、“net start w32time”。至此，已完成服务器端设定． 注意： 1）通讯端口：123 必须打开 2）Windows Time服务设置为"自动"模式，以便重启系统后，继续提供时间授权。 3）时区不能进行同步，时区是在安装系统时选择或者配置修改。 命令行模式下启动服务: net stop w32time 停止服务/ net start w32time 启动服务
2018-Linux防火墙iptables配置详解 一、开始配置 我们来配置一个filter表的防火墙. (1)查看本机关于IPTABLES的设置情况 [root@tp ~]# iptables -L -n Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain RH-Firewall-1-INPUT (0 references) target prot opt source destination ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0 icmp type 255 ACCEPT esp -- 0.0.0.0/0 0.0.0.0/0 ACCEPT ah -- 0.0.0.0/0 0.0.0.0/0 ACCEPT udp -- 0.0.0.0/0 224.0.0.251 udp dpt:5353 ACCEPT udp -- 0.0.0.0/0 0.0.0.0/0 udp dpt:631 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:80 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:25 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited 可以看出我在安装linux时,选择了有防火墙,并且开放了22,80,25端口. 如果你在安装linux时没有选择启动防火墙,是这样的 [root@tp ~]# iptables -L -n Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination 什么规则都没有. (2)清除原有规则. 不管你在安装linux时是否启动了防火墙,如果你想配置属于自己的防火墙,那就清除现在filter的所有规则. [root@tp ~]# iptables -F清除预设表filter中的所有规则链的规则 [root@tp ~]# iptables -X清除预设表filter中使用者自定链中的规则 我们在来看一下
Hadoop的安装与配置及示例程序 wordcount的运行 目录 前言 (1) 1 机器配置说明 (2) 2 查看机器间是否能相互通信（使用ping命令） (2) 3 ssh设置及关闭防火墙 (2) 1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3) 2）关闭防火墙（NameNode和DataNode都必须关闭） (3) 4 安装jdk1.6(集群中机子都一样) (3) 5 安装hadoop(集群中机子都一样) (4) 6 配置hadoop (4) 1）配置JA V A环境 (4) 2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5) 3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7) 4）配置NameNode上的conf/masters和conf/slaves (7) 7 运行hadoop (7) 1）格式化文件系统 (7) 2）启动hadoop (7) 3）用jps命令查看进程，NameNode上的结果如下： (8) 4）查看集群状态 (8) 8 运行Wordcount.java程序 (8) 1）先在本地磁盘上建立两个文件f1和f2 (8) 2）在hdfs上建立一个input目录 (9) 3）将f1和f2拷贝到hdfs的input目录下 (9) 4）查看hdfs上有没有f1,f2 (9) 5)执行wordcount（确保hdfs上没有output目录） (9) 6）运行完成，查看结果 (9) 前言 最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。具体安装及配置过程如下：
设置NTP时间服务器的方法 NTP服务器设置： 1.打开注册表，找到下面的注册表子项： HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Parameters，在右窗格中，双击项“Type”，修改“数值数据”为NTP，然后单击“确定”。 2.修改以下选项的键 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer，修改项「Enabled」设定为1，打开NTP服务器功能。（默认是不开启NTP Server服务，除非计算机升级成为域控制站） 3.修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config，修改项AnnounceFlags的数据为5,该设定强制主机将它自身宣布为可靠的时间源，从而使用内置的互补金属氧化物半导体(CMOS)时钟。该设定强制主机将它自身宣告为可靠的时间源，从而运用内置的互补金属氧化物半导体 (CMOS) 时钟。假如要采用外面的时间服务器，就用默认的 a 值即可． 4、在dos命令行，启动以下服务： w32time 需要管理员权限，改完重启机器 windows time 其他：如果该服务器和internet连接，那么为了避免服务器和internet上的ntp同步，最好追加以下配置： HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpClient的「enable」设定为0，以防止作为客户端自动同步外界的时间服务。 客户端配置： 1. 修改注册表HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpClient，项「enable」设定为1，以便作为客户端自动同步外界的时间服务。项SpecialPollInterval的值修改成十进制43200（单位为秒，43200为12小时，该值为更新时间间隔） 2. 修改默认更新服务器 进入“日期和时间”窗口，点击“Internet时间”，进入“Internet时间设置”页面，勾选“与Internet时间服务器同步”，并输入目标服务器的IP或域名，点击“确定”保存。 3. 重启Windows Time服务
Linux基本网络配置： 查看及测试网络接口信息： 命令ifconfig：查看系统中处于活动状态的网络接口设备： [root@localhost ~]# ifconfig 查看指定网络接口的基本配置信息： 查看eth0网卡的基本配置信息： [root@localhost ~]# ifconfig eth0 查看所有网络接口配置信息： [root@localhost ~]# ifconfig –a 查看主机路由表信息： 查看linux主机中的路由表信息：(或[root@localhost ~]# netstat -nr) [root@localhost ~]# route Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.20.0 * 255.255.255.0 U 1 0 0 eth0 default 192.168.20.1 0.0.0.0 UG 0 0 0 eth0 [root@localhost ~]# 其中default的行表示当前主机的默认网关记录。 查看linux主机中的路由信息，以数字形式显示地址： [root@localhost ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.20.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0 0.0.0.0 192.168.20.1 0.0.0.0 UG 0 0 0 eth0 [root@localhost ~]# 使用这种方式，默认不会出现*,而是0.0.0.0。 跟踪数据包的路由途径： [root@localhost ~]# traceroute https://www.doczj.com/doc/fb17654047.html, 查看主机名称： [root@localhost ~]# hostname localhost.localdomain [root@localhost ~]# 设置主机名称: (重启失效) [root@localhost ~]# hostname zhangserver