大数据之Hadoop完全分布式集群搭建

  • A+
所属分类:未分类
大数据之Hadoop完全分布式集群搭建

1.准备阶段

1.1.新建三台虚拟机

Hadoop完全分市式集群是典型的主从架构(master-slave),一般需要使用多台服务器来组建。我们准备3台服务器(关闭防火墙、静态IP、主机名称)。如果没有这样的环境,可以在一台电脑上安装VMWare Workstation。在VM上安装三台Linux,分别是1个主节点,2个从节点,如下图所示。

节点类型

IP地址

主机名

NameNode

192.168.86.150

master

DataNode

192.168.86.160

slave1

DataNode

192.168.86.170

slave2

注意:这3个节点的IP地址在实际搭建时会有所不同。

1.2.配置静态IP

在Linx系统命令终端,执行命令 vim ifcfg-eth0,并修改文件的内容,按“键入编辑内容编译完成后按Esc键退出编译状态,之后执行命令wq,保存并退出。IPADDR、 NETMASK、 GATEWAY、DNS1的值可以根据自己的本机进行修改,如下所示。

DEVICE=”eth0″                 #设备名字

BOOTPROTO=”static”            #静态ip

HWADDR=”00:0C:29:ED:83:F7″     #mac地址

IPV6INIT=”yes”

NM_CONTROLLED=”yes”

ONBOOT=”yes”                  #开启自启动

TYPE=”Ethernet”                 #网络类型

UUID=”28354862-67a7-4a5b-9f9a-54561401f614″

IPADDR=192.168.11.10           #IP地址

NETMASK=255.255.255.0         #子网掩码

GATEWAY=192.168.11.2          #网关

DNS1=192.168.11.2              # dns

1.3.修改主机名和域名映射

(1)启动命令终端,在任何目录下执行命令cd/ etc/sysconfig,切换到该目录并查看目录下的文件,可以发现存在文件 network,如图所示。

大数据之Hadoop完全分布式集群搭建

 (2)在/etc/sysconfig目录下找到文件 network,然后执行命令 vim network,按“i”进入编辑内容,编译完成后按Esc退出编译状态,之后执行命令wq保存并退出,后面两台也都这样,如下图所示。

大数据之Hadoop完全分布式集群搭建

 (3)修改主机名和iP地址具有映射关系,执行命令vim/ etc/hosts,按“i”进入编辑内容,编译完成后按Esc退出编译状态,之后执行命令wq保存并退出,把三台的ip和主机名都编辑,如图所示。

大数据之Hadoop完全分布式集群搭建

 (4)scp命令传送文件

scp  /etc/hosts root@slave1:/etc/hosts

scp  /etc/hosts root@slave2:/etc/hosts

把修改好的发送给slave1,再用相同的方法,发送给slave2。

 下面我们详细介绍一下scp命令,scp是secure copy的缩写,是用于Linux之间复制文件和目录的。scp是Linux系统下基于ssh登陆进行安全的远程文件拷贝命令。

scp数据传输可以使用ssh1或ssh2。scp命令可以使用IPv4寻址或IPv6寻址。

l  复制文件语法:

  scp  /源文件完整路径  远程用户名@IP地址: /目标文件完整路径

     或者

      scp  /源文件完整路径  远程用户名@机器名: /目标文件完整路径

scp /home/space/music/1.mp3  root@slave1:/home/root/others/music

scp /home/space/music/1.mp3  root@192.168.86.153:/home/root/others/music/001.mp3

l  复制目录语法:

scp  -r  /源目录完整路径  远程用户名@IP地址: /目标目录所在路径

     或者

scp -r  /源目录完整路径  远程用户名@机器名: /目标目录所在路径

scp -r /home/space/music/  root@slave3:/home/root/others/

scp -r /home/space/music/  root@192.168.86.153:/home/root/others/

l  从远程复制到本地

从远程复制到本地,只要将从本地复制到远程的命令的后2个参数调换顺序即可。

scp root@slave3:/home/root/others/music/1.mp3  /home/space/music

参数:

-r

递归复制整个目录。

-v

和大多数linux命令中的-v意思一样,用来显示进度。可以用来查看连接、认证、或是配置错误。

-C

允许压缩。(将-C标志传递给ssh,从而打开压缩功能)。

-1

强制scp命令使用协议ssh1。

-2

强制scp命令使用协议ssh2。

-4

强行使用IPV4地址。

-6

强行使用IPV6地址。

-q

不显示传输进度条。

 

1.4.安装Java

(1)启动 Linux命令终端,分别在三台虚拟机上创建目录,执行命令mkdir /usr/java,切换到该目录下执行命令cd/usr/java,

[root@hadoop ~] mkdir/usr/java

[root@hadoop ~]cd /usr/java

(2)把JDK文件jdk-8u181-linux-x64.tar.gz上传到该目录下

(3)然后对/usr/java目录下的JDK压缩文件jdk-8u181-linux-x64.tar.gz,执行命令

对jdk-8u181-linux-x64.tar.gz进行解压

[root@hadoop java]#tar -xzvf jdk-8u181-linux-x64.tar.gz

(4)解压之后,执行命令 Il,可以看到该目录下多了一个解压后的Jdk文件,如图2-43所示。

 (5)把jdk文件上传到其他两台,通过命令上传到其他两台虚拟机上,指定命令

scp –r /usr/java root@主机名:/usr

[root@master ~]scp –r /usr/java root@slave1:/usr

[root@master ~] scp –r /usr/java root@slave2:/usr

(6)然后到slave1和slave2的/usr目录下看,是否有java这个目录

(7)完成上一步之后,可以执行cd jdk.1.7.0_80,进入JDK安装目录

 (8)确定解压无误之后,此时需要配置JDK环境变量,执行命令 vim /etc/profile单击”i“进入编辑内容,编译完成后按Esc退出编译状态,之后执行命令wq保存并退出。如图

 (9)编辑完后进行配置文件刷新,执行命令 source /etc/profile,刷新配置,配置的信息才会生效.

[root@hadoop jdk1.7.0_80]# source /etc/profile

(10)完成以上步骤之后,需要测试环境变量是否配置成功,只需要在任何目录下执行Java –version ,如图,出现下图情况就是配置成功。

大数据之Hadoop完全分布式集群搭建 

1.5.关闭防火墙

关闭Linux防火墙有以下3个步骤:

1.查看防火墙状态

service iptables status

2. 关闭防火墙

service iptables stop

3. 永久性关闭防火墙

chkconfig iptables off

1.6.SSH免密登陆

(1)在Linux系统的终端的任何目录下通过切换cd ~/.ssh,进入到.ssh目录下。

     ~表示当前用户的home目录,通过cd  ~可以进入到你的home目录。.开头的文件表示隐藏文件,这里.ssh就是隐藏目录文件。

(2)在Linux系统命令框的.ssh目录下

[root@root .ssh]#  ssh-keygen  -t  rsa

 

(连续按四次回车)执行完上面命令后,会生成两个id_rsa(私钥)、id_rsa.pub(公钥)两个文件,如图所示

大数据之Hadoop完全分布式集群搭建

 (3)授权SSH免密码

[root@master .ssh]# ssh-copy-id  master

[root@master .ssh]# ssh-copy-id  slave1

[root@master .ssh]# ssh-copy-id  slave2

给当前主机和其他两台都设置免密码登录,这样三台可以互通。(根据提示输入yes并输入访问主机所需要的密码。)

 (4)在master主机上执行下面的3条命令。

[root@master .ssh]# ssh master

[root@master .ssh]# ssh slave1

[root@slave1 ~]# exit

[root@master .ssh]# ssh slave2

发现不需要密码就能连接任意一台虚拟机。

 注意:当执行ssh slave1命令后,就以SSH免密方式登录到slave1。必须使用exit命令退出登录slave1,再尝试执行ssh slave2。

1.7.配置时间同步服务

(1)安装NTP服务。

在各节点执行命令 yum install -y ntp即可。若是最终出现了“Complete”信息,就说明安装NTP服务成功。

(2)设置 master节点为NTP服务主节点,那么其配置如下。

使用命令“ vim /etc/ntp.conf”来打开/etc/ntp.conf文件,注释掉以 server开头的行,并添加代码所示的内容。

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0

fudge 127.127.1.0 stratum 10

大数据之Hadoop完全分布式集群搭建

大数据之Hadoop完全分布式集群搭建 

(3)分别在slave1,slave2中配置NTP,同样修改/etc/ntp.conf文件,注释掉server开头的行,并添加下面代码所示的内容。

server master

大数据之Hadoop完全分布式集群搭建

 (4)永久性关闭防火墙,主节点和从节点都要关闭。执行命令

 service iptables stop

 chkconfig iptables off

 (5)启动NTP服务

①在 master节点执行命令“ service ntpd start& chkconfig ntpd on”,如下图所示,说明NTP服务启动成功。

大数据之Hadoop完全分布式集群搭建

 ②在slave1、slave2上同步时间。执行命令

ntpdate master

 ③在 slave1、slave2上分别执行“ service ntpd start& chkconfig ntpd on”,即永久启动NTP服务。

 ④分别在master、slave1、slave2上分别输入date,看时间是否一致。

2.配置阶段

2.1.文件的配置

master主机上

(1)创建目录mkdir /usr/hadoop,执行命令cd/usr/hadoop,切换到该目录下,把Hadoop文件上传到该目录下

(2)然后对/usr/hadoop目录下的Hadoop压缩文件hadoop-2.6.5.tar.gz,执行命令

tar  -zxvf  hadoop-2.6.5.tar.gz  -C  /usr/hadoop 

-C是指解压压缩包到指定位置

(3)修改配置文件

切换到$HADOOP_NAME/etc/hadoop 目录下并查看该目录下的包,如图

 下面我们需要修改以下的7个文件。

文件名

文件路径

hadoop-env.sh

$HADOOP_NAME/etc/hadoop

core-site.xml

$HADOOP_NAME/etc/hadoop

hdfs-site.xml

$HADOOP_NAME/etc/hadoop

mapred-site.xml

$HADOOP_NAME/etc/hadoop

yarn-site.xml

$HADOOP_NAME/etc/hadoop

yarn-env.sh

$HADOOP_NAME/etc/hadoop

profile

/etc/ profile

slaves

$HADOOP_NAME/etc/hadoop

 (4)在$HADOOP_NAME/etc/hadoop目录下执行命令

vim hadoop-env.sh

按“i”键进入编辑内容,在文件中添加如下内容:

export  JAVA_HOME=/usr/java/ jdk1.8.0_181

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export  HADOOP_OPTS=”-Djava.library.path=$HADOOP_PREFIX/lib”

编译完成后,按ESC退出编辑状态,之后执行命令wq保存并退出

大数据之Hadoop完全分布式集群搭建

 (5)在$HADOOP_NAME/etc/hadoop目录下执行命令

vim core-site.xml

并修改配置文件core-site.xml ,内容如下:

大数据之Hadoop完全分布式集群搭建
<configuration>

         <!—指定HDFS的(Namenode)的缺省路径地址:master是计算机名,也可以是ip地址-->

         <property>

                  <name>fs.defaultFS</name>

                  <value>hdfs://master:9000</value>

         </property>

                  <!—指定Hadoop运行时产生文件的存储目录,需要创建/usr/hadoop/tmp目录 -->

         <property>

                  <name>hadoop.tmp.dir</name>

                  <value>/usr/hadoop/tmp</value>

       </property>

</configuration>
大数据之Hadoop完全分布式集群搭建

 

(6)$HADOOP_NAME/etc/hadoop目录下执行命令vim hdfs-site.xml,并修改配置文件hdfs-site.xml ,内容如下

大数据之Hadoop完全分布式集群搭建
<configuration>
              <!--指定HDFS副本的数量 -->
              <property>
                     <name>dfs.replication</name>
                     <value>3</value>
              </property>
              <!--namenode上存储hdfs名字空间元数据,/home/hadoop/dfs/name需要自建 -->
              <property>
                     <name>dfs.namenode.name.dir</name>
                     <value>/home/hadoop/dfs/name</value>
              </property>
              <!--datanode上数据块的物理存储位置,/home/hadoop/dfs/data需要自建 -->
              <property>
                     <name>dfs.datanode.data.dir</name>
                     <value>/home/hadoop/dfs/data</value>
              </property>
         <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>master:50090</value>
              </property>
</configuration>
大数据之Hadoop完全分布式集群搭建

 

 (7)在$HADOOP_NAME/etc/hadoop目录下查看是否有配置文件mapred-site.xml。目录下默认情况下没有该文件,可通过执行命令

mv mapred-site.xml.template mapred-site.xml,修改一个文件的命名。

然后执行命令

vim mapred-site.xml

并修改配置文件mapred-site.xml,内容如下:

大数据之Hadoop完全分布式集群搭建
<configuration>
       <!—指定mr运行在yarn上->
       <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
       <property>
              <name>mapreduce.jobhistory.address</name>
              <value>master:10020</value>
       </property>
       <!—查看历史日志-->
        <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <value>master:19888</value>
       </property>
 </configuration>
大数据之Hadoop完全分布式集群搭建

 

(8)在$HADOOP_NAME/etc/hadoop目录下执行命令vim yarn-site.xml,并修改配置文件yarn-site.xml ,内容如下

大数据之Hadoop完全分布式集群搭建
<configuration>
              <!—指定resourcemanager的地址,主机是master-->
              <property>
                     <name>yarn.resourcemanager.hostname</name>
                     <value>master</value>
              </property>
              <!—获取数据的方式-->
              <property>
                     <name>yarn.nodemanager.aux-services</name>
                     <value>mapreduce_shuffle</value>
              </property>
</configuration>
大数据之Hadoop完全分布式集群搭建

 

 (9)在$HADOOP_NAME/etc/hadoop目录下执行命令

vim yarn-env.sh

修改配置文件yarn-env.sh ,增加如下内容

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

 

 (10)执行命令vim /etc/profile,把Hadoop的安装目录配置到环境变量中

#hadoop
HADOOP_HOME=/usr/hadoop/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

 (11)然后让配置文件生效,执行命令

source /etc/profile

(12)在$HADOOP_NAME/etc/hadoop目录下执行命令vim slaves,并修改配置文件slaves,内容如下。

slave1

slave2s

 

注意:删除localhost

2.2.分发Hadoop

在master上执行命令,将配置好的hadoop分发到两个从节点slave1,slave2上。

scp  -r  /usr/hadoop/hadoop-2.6.5  root@slave1:/usr/hadoop/

scp  -r  /usr/hadoop/hadoop-2.6.5  root@slave2:/usr/hadoop/

注:在slave1和slave2上提前先创建好/usr/hadoop目录

在从节点slave1,slave2上修改/etc/profile

2.3.格式化NameNode

master主机是NameNode,必须格式化之后才能使用,格式化命令只需要执行一次。在任意目录下,执行命令

hdfs namenode  -format

或者

hadoop namenode  -format

注意:以上命令必须在配置Hadoop环境变量的情况下才能执行。所以必须修改/etc/profile文件并且执行下面的命令启动修改。

source /etc/profile

2.4.启动集群

(1)首先启动HDFS系统,master上$HADOOP_HOME/sbin目录下执行命令start-dfs.sh(注意slave1和slave2不需要执行命令),然后在master、slave1、slave2主机上用jps查看进程,如图所示。

大数据之Hadoop完全分布式集群搭建

 如上图可以看出master主机是NameNode同时还是SecondNameNode。slave1和slave2主机是DataNode。

注意:在slave1和slave2上修改/etc/profile,执行12.2.11中的步骤10和步骤11。

(2)首先启动yarn系统,master上执行命令start-yarn.sh(注意slave1和slave2不需要执行命令),然后在master、slave1、slave2主机上用jps查看进程,如图所示。

大数据之Hadoop完全分布式集群搭建

如上图可以看出master主机上有ResourceManager。slave1和slave2主机上有NodeManager。

至此,我们的Hadoop的完全分布式集群搭建已经大功告成了。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: