tx

大口薯片嘴里塞

不要卷,一起摆吧!!!
1,085
Hadoop完全分布式 Hadoop完全分布式

Hadoop完全分布式搭建

一、VMware软件使用

1.1 配置VM软件网络

1.1.1 软件打开左上角编辑,虚拟网络编辑器;

1.1.2 点击更改设置;

image-20220121203256947

1.1.3 首先修改VMnet1仅主机类型,子网IP改为10.10.Y.0(Y可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203347275

1.1.4 修改VMnet8 NAT模式,子网IP改为172.128.X.0(X可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203708083

1.1.5 点击确定应用更改。

image-20220713004158255

1.2 创建VM虚拟机

1.2.1 打开VMware软件,点击创建新的虚拟机;

image-20220121195517536

1.2.2 选择典型(推荐);

image-20220121195634462

1.2.3 选择稍后安装操作系统后下一步;

image-20220121195810948

1.2.4 客户端操作系统选择Linux,版本选择CentOS 7 64位

image-20220121200212064

1.2.5 虚拟机名称node1,位置自定义

image-20221105175207955

1.2.6 磁盘大小设置20GB,并选择将虚拟磁盘拆分成多个文件

image-20221105183159221

1.2.7 自定义硬件,新CD/DVD (IDE)选择使用ISO映像文件,CentOS镜像文件

image-20221105183338902

1.2.8 安装1.2.1—1.2.7步骤创建node2和node3虚拟机

二、安装Centos7系统

2.1 开启虚拟机

2.1.1 打开VMware软件主页面,选择左侧需要打开的虚拟机

image-20221105184005709

2.1.2 开启虚拟机

image-20221105184126156

2.2 安装配置

2.2.1 使用键盘方向键选择Install CentOS 7后回车

image-20221105184437587

2.2.2 选择语言后,进入安装信息摘要后,下来打开安装位置,然后直接点完成

image-20221105184830437

2.2.3 打开网卡

(1)选择网络和主机名

image-20221105185432545

(2)点击右侧按钮打开网卡

image-20221105185518840

2.2.4 开始安装

image-20221105185647340

2.2.5 设置ROOT密码

(1)点击ROOT密码

image-20221105185818731

(2)设置ROOT密码:注意密码太简单的话,设置完成后需要点击两次完成才可以

image-20221105185854377

2.2.6 完成安装,重启虚拟机

image-20221105190150651

三、基础配置

3.1 分别把node1、node2、node3的IP改为静态IP

3.1.1 查看当前虚拟机IP,以及网卡名称

[root@localhost ~]# ip a

image-20221105192027839

3.1.2 使用cd命令进入网卡配置文件目录,并查看网卡配置文件名

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# ls

image-20221105192213667image-20220121203148582

1.1.2 点击更改设置;

image-20220121203256947

1.1.3 首先修改VMnet1仅主机类型,子网IP改为10.10.Y.0(Y可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203347275

1.1.4 修改VMnet8 NAT模式,子网IP改为172.128.X.0(X可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203708083

1.1.5 点击确定应用更改。

image-20220713004158255

1.2 创建VM虚拟机

1.2.1 打开VMware软件,点击创建新的虚拟机;

image-20220121195517536

1.2.2 选择典型(推荐);

image-20220121195634462

1.2.3 选择稍后安装操作系统后下一步;

image-20220121195810948

1.2.4 客户端操作系统选择Linux,版本选择CentOS 7 64位

image-20220121200212064

1.2.5 虚拟机名称node1,位置自定义

image-20221105175207955

1.2.6 磁盘大小设置20GB,并选择将虚拟磁盘拆分成多个文件

image-20221105183159221

1.2.7 自定义硬件,新CD/DVD (IDE)选择使用ISO映像文件,CentOS镜像文件

image-20221105183338902

1.2.8 安装1.2.1—1.2.7步骤创建node2和node3虚拟机

二、安装Centos7系统

2.1 开启虚拟机

2.1.1 打开VMware软件主页面,选择左侧需要打开的虚拟机

image-20221105184005709

2.1.2 开启虚拟机

image-20221105184126156

2.2 安装配置

2.2.1 使用键盘方向键选择Install CentOS 7后回车

image-20221105184437587

2.2.2 选择语言后,进入安装信息摘要后,下来打开安装位置,然后直接点完成

image-20221105184830437

2.2.3 打开网卡

(1)选择网络和主机名

image-20221105185432545

(2)点击右侧按钮打开网卡

image-20221105185518840

2.2.4 开始安装

image-20221105185647340

2.2.5 设置ROOT密码

(1)点击ROOT密码

image-20221105185818731

(2)设置ROOT密码:注意密码太简单的话,设置完成后需要点击两次完成才可以

image-20221105185854377

2.2.6 完成安装,重启虚拟机

image-20221105190150651

三、基础配置

3.1 分别把node1、node2、node3的IP改为静态IP

3.1.1 查看当前虚拟机IP,以及网卡名称

[root@localhost ~]# ip a

image-20221105192027839

3.1.2 使用cd命令进入网卡配置文件目录,并查看网卡配置文件名

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# ls

image-20221105192213667image-20220121203148582" style="zoom:67%;" />

1.1.2 点击更改设置;

image-20220121203256947

1.1.3 首先修改VMnet1仅主机类型,子网IP改为10.10.Y.0(Y可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203347275

1.1.4 修改VMnet8 NAT模式,子网IP改为172.128.X.0(X可以选择自己喜欢的数字),子网掩码255.255.255.0

image-20220121203708083

1.1.5 点击确定应用更改。

image-20220713004158255

1.2 创建VM虚拟机

1.2.1 打开VMware软件,点击创建新的虚拟机;

image-20220121195517536

1.2.2 选择典型(推荐);

image-20220121195634462

1.2.3 选择稍后安装操作系统后下一步;

image-20220121195810948

1.2.4 客户端操作系统选择Linux,版本选择CentOS 7 64位

image-20220121200212064

1.2.5 虚拟机名称node1,位置自定义

image-20221105175207955

1.2.6 磁盘大小设置20GB,并选择将虚拟磁盘拆分成多个文件

image-20221105183159221

1.2.7 自定义硬件,新CD/DVD (IDE)选择使用ISO映像文件,CentOS镜像文件

image-20221105183338902

1.2.8 安装1.2.1—1.2.7步骤创建node2和node3虚拟机

二、安装Centos7系统

2.1 开启虚拟机

2.1.1 打开VMware软件主页面,选择左侧需要打开的虚拟机

image-20221105184005709

2.1.2 开启虚拟机

image-20221105184126156

2.2 安装配置

2.2.1 使用键盘方向键选择Install CentOS 7后回车

image-20221105184437587

2.2.2 选择语言后,进入安装信息摘要后,下来打开安装位置,然后直接点完成

image-20221105184830437

2.2.3 打开网卡

(1)选择网络和主机名

image-20221105185432545

(2)点击右侧按钮打开网卡

image-20221105185518840

2.2.4 开始安装

image-20221105185647340

2.2.5 设置ROOT密码

(1)点击ROOT密码

image-20221105185818731

(2)设置ROOT密码:注意密码太简单的话,设置完成后需要点击两次完成才可以

image-20221105185854377

2.2.6 完成安装,重启虚拟机

image-20221105190150651

三、基础配置

3.1 分别把node1、node2、node3的IP改为静态IP

3.1.1 查看当前虚拟机IP,以及网卡名称

[root@localhost ~]# ip a

image-20221105192027839

3.1.2 使用cd命令进入网卡配置文件目录,并查看网卡配置文件名

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# ls

image-20221105192213667</span></a></p><h3><a id=3.1.3 修改网卡配置

[root@localhost network-scripts]# vi ifcfg-ens33

配置文件如下:

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="dhcp" #将dhcp修改为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="f4bcef7e-636c-4f02-865f-c88a5d470ea6"
DEVICE="ens33"
ONBOOT="yes" #若为NO需要修改为yes
#添加以下四条
IPADDR=172.129.7.6 #需要在VM软件虚拟网络编辑器中设置的IP段内
PREFIX=24 #子网掩码
GATEWAY=172.129.7.2 #需要在VM软件虚拟网络编辑器中设置的网关相同
DNS1=8.8.8.8 #添加DNS服务器

3.1.4 重启网络服务

[root@localhost network-scripts]# service network restart

3.2 修改主机名以及IP地址映射

3.2.1 修改主机名

(1)修改主机名命令

hostnamectl set-hostname 新主机名

(2)node1:

[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# bash #刷新主机名信息
[root@node1 ~]# hostname #查看当前主机名

(3)node2:

[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# bash #刷新主机名信息
[root@node2 ~]# hostname #查看当前主机名

image-20221105193930716

(4)node3:

[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# bash #刷新主机名信息
[root@node3 ~]# hostname #查看当前主机名

image-20221105194015883

3.1.1 IP地址映射

(1)通过vi命令打开hosts文件

[root@node1 ~]# vi /etc/hosts

image-20221105194335476

(2)添加node1、node2、node3主机IP地址映射信息

#映射模板
#主机IP+空格+主机名
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.129.7.6 node1
172.129.7.7 node2
172.129.7.8 node3

image-20221105220537933

(3)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤完成IP地址映射

3.3 防火墙服务、selinux服务永久关闭

3.3.1 永久关闭防火墙服务

(1)查看当前防火墙服务状态

[root@node1 ~]# systemctl status firewalld.service

image-20221105221012089

(2)临时关闭防火墙服务

[root@node1 ~]# systemctl stop firewalld.service

image-20221105221211528

(3)永久关闭防火墙服务

[root@node1 ~]# systemctl disable firewalld.service

image-20221105221315559

(4)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤永久关闭防火墙服务

3.3.2 永久关闭selinux服务

(1)查看当前selinux服务模式

[root@node1 ~]# getenforce

image-20221105221609041image-20221105193658779

(3)node2:

[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# bash #刷新主机名信息
[root@node2 ~]# hostname #查看当前主机名

image-20221105193930716

(4)node3:

[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# bash #刷新主机名信息
[root@node3 ~]# hostname #查看当前主机名

image-20221105194015883

3.1.1 IP地址映射

(1)通过vi命令打开hosts文件

[root@node1 ~]# vi /etc/hosts

image-20221105194335476

(2)添加node1、node2、node3主机IP地址映射信息

#映射模板
#主机IP+空格+主机名
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.129.7.6 node1
172.129.7.7 node2
172.129.7.8 node3

image-20221105220537933

(3)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤完成IP地址映射

3.3 防火墙服务、selinux服务永久关闭

3.3.1 永久关闭防火墙服务

(1)查看当前防火墙服务状态

[root@node1 ~]# systemctl status firewalld.service

image-20221105221012089

(2)临时关闭防火墙服务

[root@node1 ~]# systemctl stop firewalld.service

image-20221105221211528

(3)永久关闭防火墙服务

[root@node1 ~]# systemctl disable firewalld.service

image-20221105221315559

(4)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤永久关闭防火墙服务

3.3.2 永久关闭selinux服务

(1)查看当前selinux服务模式

[root@node1 ~]# getenforce

image-20221105221609041image-20221105193658779" style="zoom:67%;" />

(3)node2:

[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# bash #刷新主机名信息
[root@node2 ~]# hostname #查看当前主机名

image-20221105193930716

(4)node3:

[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# bash #刷新主机名信息
[root@node3 ~]# hostname #查看当前主机名

image-20221105194015883

3.1.1 IP地址映射

(1)通过vi命令打开hosts文件

[root@node1 ~]# vi /etc/hosts

image-20221105194335476

(2)添加node1、node2、node3主机IP地址映射信息

#映射模板
#主机IP+空格+主机名
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.129.7.6 node1
172.129.7.7 node2
172.129.7.8 node3

image-20221105220537933

(3)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤完成IP地址映射

3.3 防火墙服务、selinux服务永久关闭

3.3.1 永久关闭防火墙服务

(1)查看当前防火墙服务状态

[root@node1 ~]# systemctl status firewalld.service

image-20221105221012089

(2)临时关闭防火墙服务

[root@node1 ~]# systemctl stop firewalld.service

image-20221105221211528

(3)永久关闭防火墙服务

[root@node1 ~]# systemctl disable firewalld.service

image-20221105221315559

(4)在node2和node3主机重复3.1.1(1)—3.1.1(2)步骤永久关闭防火墙服务

3.3.2 永久关闭selinux服务

(1)查看当前selinux服务模式

[root@node1 ~]# getenforce

image-20221105221609041</span></a></p><h4><a id=(2)修改selinux服务配置文件

[root@node1 ~]# vi /etc/selinux/config #通过vi命令打开selinux服务配置文件并进行修改

selinux服务配置

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=enforcing #将enforcing修改为disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

(3)重启虚拟机使配置文件生效

[root@node1 ~]# reboot

(4)重启后查看selinux服务模式

[root@node1 ~]# getenforce

image-20221105222142598

(5)在node2和node3主机重复3.1.2(1)—3.1.2(4)步骤永久关闭selinux服务

3.3 SSH免密

3.3.1 生成密钥

[root@node1 ~]# ssh-keygen -t rsa #一直回车,直至出现下图红框内容

image-20221105230817443

3.3.2 使用ssh-copy-id命令把复制到node1、node2、node3

[root@node1 ~]# ssh-copy-id node1
[root@node1 ~]# ssh-copy-id node2
[root@node1 ~]# ssh-copy-id node3
#出现下图,输入yes回车,然后输入目标主机密码回车

image-20221105231014802

3.3.3 在node2和node3主机重复3.3.1—3.3.2步骤完成免密

四、安装JDK

4.1 创建安装目录

4.1.1 分别在三台主机创建export目录,并在export目录下分别创建servers、soft目录

[root@node1 ~]# cd /
[root@node1 /]# mkdir /export
[root@node1 /]# mkdir /export/{servers,soft}
#servers 用于存放解压后的文件
#soft 用于存放软件包

4.2 上传JDK软件包

使用Xftp 7、SecureCRT、MobaXterm_Personal等软件上传,因人而异。

4.3 解压JDK软件包至servers目录

[root@node1 /]# tar -zxvf /export/soft/jdk-8u162-linux-x64.tar.gz -C /export/servers/

4.4 将解压后的JKD软件包名字修改为jdk,以便后续其他组件部署

[root@node1 /]# mv /export/servers/jdk1.8.0_162/ /export/servers/jdk

4.5 配置环境变量

4.5.1 使用vi命令打开环境变量文件

[root@node1 /]# vi /etc/profile

image-20221106000450730

4.5.2 添加JDK的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加JAVA_HOME和PATH环境变量

export JAVA_HOME=/export/servers/jdk
export PATH=:$JAVA_HOME/bin:$PATH

image-20221106000854638image-20221105221941411

(3)重启虚拟机使配置文件生效

[root@node1 ~]# reboot

(4)重启后查看selinux服务模式

[root@node1 ~]# getenforce

image-20221105222142598

(5)在node2和node3主机重复3.1.2(1)—3.1.2(4)步骤永久关闭selinux服务

3.3 SSH免密

3.3.1 生成密钥

[root@node1 ~]# ssh-keygen -t rsa #一直回车,直至出现下图红框内容

image-20221105230817443

3.3.2 使用ssh-copy-id命令把复制到node1、node2、node3

[root@node1 ~]# ssh-copy-id node1
[root@node1 ~]# ssh-copy-id node2
[root@node1 ~]# ssh-copy-id node3
#出现下图,输入yes回车,然后输入目标主机密码回车

image-20221105231014802

3.3.3 在node2和node3主机重复3.3.1—3.3.2步骤完成免密

四、安装JDK

4.1 创建安装目录

4.1.1 分别在三台主机创建export目录,并在export目录下分别创建servers、soft目录

[root@node1 ~]# cd /
[root@node1 /]# mkdir /export
[root@node1 /]# mkdir /export/{servers,soft}
#servers 用于存放解压后的文件
#soft 用于存放软件包

4.2 上传JDK软件包

使用Xftp 7、SecureCRT、MobaXterm_Personal等软件上传,因人而异。

4.3 解压JDK软件包至servers目录

[root@node1 /]# tar -zxvf /export/soft/jdk-8u162-linux-x64.tar.gz -C /export/servers/

4.4 将解压后的JKD软件包名字修改为jdk,以便后续其他组件部署

[root@node1 /]# mv /export/servers/jdk1.8.0_162/ /export/servers/jdk

4.5 配置环境变量

4.5.1 使用vi命令打开环境变量文件

[root@node1 /]# vi /etc/profile

image-20221106000450730

4.5.2 添加JDK的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加JAVA_HOME和PATH环境变量

export JAVA_HOME=/export/servers/jdk
export PATH=:$JAVA_HOME/bin:$PATH

image-20221106000854638image-20221105221941411" style="zoom: 50%;" />

(3)重启虚拟机使配置文件生效

[root@node1 ~]# reboot

(4)重启后查看selinux服务模式

[root@node1 ~]# getenforce

image-20221105222142598

(5)在node2和node3主机重复3.1.2(1)—3.1.2(4)步骤永久关闭selinux服务

3.3 SSH免密

3.3.1 生成密钥

[root@node1 ~]# ssh-keygen -t rsa #一直回车,直至出现下图红框内容

image-20221105230817443

3.3.2 使用ssh-copy-id命令把复制到node1、node2、node3

[root@node1 ~]# ssh-copy-id node1
[root@node1 ~]# ssh-copy-id node2
[root@node1 ~]# ssh-copy-id node3
#出现下图,输入yes回车,然后输入目标主机密码回车

image-20221105231014802

3.3.3 在node2和node3主机重复3.3.1—3.3.2步骤完成免密

四、安装JDK

4.1 创建安装目录

4.1.1 分别在三台主机创建export目录,并在export目录下分别创建servers、soft目录

[root@node1 ~]# cd /
[root@node1 /]# mkdir /export
[root@node1 /]# mkdir /export/{servers,soft}
#servers 用于存放解压后的文件
#soft 用于存放软件包

4.2 上传JDK软件包

使用Xftp 7、SecureCRT、MobaXterm_Personal等软件上传,因人而异。

4.3 解压JDK软件包至servers目录

[root@node1 /]# tar -zxvf /export/soft/jdk-8u162-linux-x64.tar.gz -C /export/servers/

4.4 将解压后的JKD软件包名字修改为jdk,以便后续其他组件部署

[root@node1 /]# mv /export/servers/jdk1.8.0_162/ /export/servers/jdk

4.5 配置环境变量

4.5.1 使用vi命令打开环境变量文件

[root@node1 /]# vi /etc/profile

image-20221106000450730

4.5.2 添加JDK的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加JAVA_HOME和PATH环境变量

export JAVA_HOME=/export/servers/jdk
export PATH=:$JAVA_HOME/bin:$PATH

image-20221106000854638</span></a></p><h3><a id=4.5.3 加载环境变量文件,使其生效

[root@node1 /]# source /etc/profile
image-20221106001121292image-20221106001121292

4.5.4 查看java的版本信息

[root@node1 /]# java -version

4.6 将JDK和环境变量分发给node2和node3

[root@node1 /]# scp -r /export/servers/jdk/ node2:/export/servers/
[root@node1 /]# scp -r /export/servers/jdk/ node3:/export/servers/
[root@node1 /]# scp /etc/profile node2:/etc/
[root@node1 /]# scp /etc/profile node3:/etc/

4.7 在node2和node3加载环境变量文件,并查看java版本

[root@node2 /]# source /etc/profile
[root@node2 /]# java -version

image-20221106003107542

[root@node3 /]# source /etc/profile
[root@node3 /]# java -version

image-20221106003120873

五、安装Hadoop

5.1 上传Hadoop软件包

参考4.2

5.2 解压Hadoop软件包至servers目录

[root@node1 ~]# tar -zxvf /export/soft/hadoop-2.7.1.tar.gz -C /export/servers/

5.3 将解压后的Hadoop软件包名字修改为hadoop

[root@node1 ~]# mv /export/servers/hadoop-2.7.1/ /export/servers/hadoop

5.4 配置环境变量

5.4.1 使用vi命令打开环境变量文件

[root@node1 ~]# vi /etc/profile

5.4.2 添加Hadoop的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加HADOOP_HOME和PATH环境变量

export HADOOP_HOME=/export/servers/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20221231151908311image-20221106002058313

4.6 将JDK和环境变量分发给node2和node3

[root@node1 /]# scp -r /export/servers/jdk/ node2:/export/servers/
[root@node1 /]# scp -r /export/servers/jdk/ node3:/export/servers/
[root@node1 /]# scp /etc/profile node2:/etc/
[root@node1 /]# scp /etc/profile node3:/etc/

4.7 在node2和node3加载环境变量文件,并查看java版本

[root@node2 /]# source /etc/profile
[root@node2 /]# java -version

image-20221106003107542

[root@node3 /]# source /etc/profile
[root@node3 /]# java -version

image-20221106003120873

五、安装Hadoop

5.1 上传Hadoop软件包

参考4.2

5.2 解压Hadoop软件包至servers目录

[root@node1 ~]# tar -zxvf /export/soft/hadoop-2.7.1.tar.gz -C /export/servers/

5.3 将解压后的Hadoop软件包名字修改为hadoop

[root@node1 ~]# mv /export/servers/hadoop-2.7.1/ /export/servers/hadoop

5.4 配置环境变量

5.4.1 使用vi命令打开环境变量文件

[root@node1 ~]# vi /etc/profile

5.4.2 添加Hadoop的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加HADOOP_HOME和PATH环境变量

export HADOOP_HOME=/export/servers/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20221231151908311image-20221106002058313" style="zoom:67%;" />

4.6 将JDK和环境变量分发给node2和node3

[root@node1 /]# scp -r /export/servers/jdk/ node2:/export/servers/
[root@node1 /]# scp -r /export/servers/jdk/ node3:/export/servers/
[root@node1 /]# scp /etc/profile node2:/etc/
[root@node1 /]# scp /etc/profile node3:/etc/

4.7 在node2和node3加载环境变量文件,并查看java版本

[root@node2 /]# source /etc/profile
[root@node2 /]# java -version

image-20221106003107542

[root@node3 /]# source /etc/profile
[root@node3 /]# java -version

image-20221106003120873

五、安装Hadoop

5.1 上传Hadoop软件包

参考4.2

5.2 解压Hadoop软件包至servers目录

[root@node1 ~]# tar -zxvf /export/soft/hadoop-2.7.1.tar.gz -C /export/servers/

5.3 将解压后的Hadoop软件包名字修改为hadoop

[root@node1 ~]# mv /export/servers/hadoop-2.7.1/ /export/servers/hadoop

5.4 配置环境变量

5.4.1 使用vi命令打开环境变量文件

[root@node1 ~]# vi /etc/profile

5.4.2 添加Hadoop的环境变量

(1)同时按住Shift键+G键,使光标跳至最后一行

(2)添加HADOOP_HOME和PATH环境变量

export HADOOP_HOME=/export/servers/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20221231151908311</span></a></p><h3><a id=5.4.3 加载环境变量文件,使其生效

[root@node1 ~]# source /etc/profile

5.4.4 查看Hadoop的版本信息

[root@node1 ~]# hadoop version

5.5 配置Hadoop配置文件

5.5.1 配置hadoop-env.sh

(1)使用vi命令打开hadoop-env.sh文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/hadoop-env.sh

(2)修改文件中export JAVA_HOME=配置

export JAVA_HOME=/export/servers/jdk

修改前:
image-20221231160652094image-20221231152155147

5.5 配置Hadoop配置文件

5.5.1 配置hadoop-env.sh

(1)使用vi命令打开hadoop-env.sh文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/hadoop-env.sh

(2)修改文件中export JAVA_HOME=配置

export JAVA_HOME=/export/servers/jdk

修改前:
image-20221231160652094image-20221231152155147" style="zoom: 80%;" />

5.5 配置Hadoop配置文件

5.5.1 配置hadoop-env.sh

(1)使用vi命令打开hadoop-env.sh文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/hadoop-env.sh

(2)修改文件中export JAVA_HOME=配置

export JAVA_HOME=/export/servers/jdk

修改前:
image-20221231160652094</span></a></p><p><strong>修改后:</strong><a class=image-20221231160802661image-20221231160802661

5.5.2 配置core-site.xml

(1)使用vi命令打开core-site.xml文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/core-site.xml

(2)在之间添加以下配置

    <property>
          <!--namenode的URL地址(必须写)-->
          <name>fs.defaultFS</name>
          <value>hdfs://node1:9000</value>
    </property>
    <property>
          <!--SequenceFiles中使用的读/写缓冲区的大小,单位为KB,131072KB默认为64M(该配置可选)-->
          <name>io.file.buffer.size</name>
          <value>131072</value>
    </property>
    <property>
          <!--hadoop临时文件路径(可选配置)-->
          <name>hadoop.tmp.dir</name>
          <value>/export/servers/hadoop/dfs/tmp</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/export/servers/hadoop/journalnode</value>
    </property>
image-20221231165042227image-20221231165042227

5.5.3 配置hdfs-site.xml

(1)使用vi命令打开hadoop-env.sh文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/hdfs-site.xml

(2)在之间添加以下配置

    <property>
          <!--hadoop的副本数量,默认为3(必须写)-->
          <name>dfs.replication</name>
          <value>3</value>
    </property>
    <property>
          <!--在本地文件系统所在的NameNode的存储空间和持续化处理日志(必须写)-->
          <name>dfs.namenode.name.dir</name>
          <value>/export/servers/hadoop/dfs/name</value>
    </property>
    <property>
          <!--在本地文件系统所在的DataNode的存储空间和持续化处理日志(必须写)-->
          <name>dfs.datanode.data.dir</name>
          <value>/export/servers/hadoop/dfs/data</value>
    </property>
    <property>
          <!--设置namenode线程,处理datanode发出rpc请求数量(可选配置)-->
          <name>dfs.namenode.handler.count</name>
          <value>100</value>
    </property>
image-20221231165711467image-20221231165711467

5.5.4 配置mapred-site.xml

(1)复制mapred-site.xml.template并重命名为mapred-site.xml

[root@node1 ~]# cp /export/servers/hadoop/etc/hadoop/mapred-site.xml.template /export/servers/hadoop/etc/hadoop/mapred-site.xml

(2)使用vi命令打开mapred-site.xml文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/mapred-site.xml

(3)在之间添加以下配置

    <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
    <property>
          <name>mapreduce.jobhistory.address</name>
          <value>node1:10020</value>
    </property>
    <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>node1:19888</value>
    </property>
image-20221231165750975image-20221231165750975

5.5.5 配置yarn-site.xml

(1)使用vi命令打开yarn-site.xml文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/yarn-site.xml

(2)在之间添加以下配置

    <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
    </property>
    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>node1:8032</value>  
    </property> 
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>  
           <value>node1:8030</value>  
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>node1:8031</value>  
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 提高内存虚拟化率 -->
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>3.0</value>
    </property>
image-20221231165829776image-20221231165829776

5.5.6 配置slaves

(1)使用vi命令打开slaves文件

[root@node1 ~]# vi /export/servers/hadoop/etc/hadoop/slaves

(2)删除localhost添加以下配置

node1
node2
node3
image-20221231164054179image-20221231164054179

5.6 将Hadoop文件和环境变量文件分发给slave1和slave2

[root@node1 ~]# scp -r /export/servers/hadoop/ node2:/export/servers/
[root@node1 ~]# scp -r /export/servers/hadoop/ node3:/export/servers/
[root@node1 ~]# scp /etc/profile node2:/etc/profile
[root@node1 ~]# scp /etc/profile node3:/etc/profile

5.7 在node2和node3加载环境变量文件

[root@node2 ~]# source /etc/profile

[root@node3 ~]# source /etc/profile

5.8 对namenode进行格式化(在node1)

[root@node1 ~]# hdfs namenode -format
22/12/31 17:03:27 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = node1/172.129.7.6
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.1
STARTUP_MSG:   classpath = /export/servers/hadoop/etc/hadoop:(此次省略)
STARTUP_MSG:   build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r 15ecc87ccf4a0228f35af08fc56de536e6ce657a; compiled by 'jenkins' on 2015-06-29T06:04Z
STARTUP_MSG:   java = 1.8.0_162
************************************************************/
...省略
22/12/31 17:03:28 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1869874649-172.129.7.6-1672477408700
22/12/31 17:03:28 INFO common.Storage: Storage directory /export/servers/hadoop/dfs/name has been successfully formatted.
22/12/31 17:03:28 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
22/12/31 17:03:28 INFO util.ExitUtil: Exiting with status 0
22/12/31 17:03:28 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node1/172.129.7.6
************************************************************/
image-20221231170718003image-20221231170718003

5.9 启动hadoop集群,查看守护进程

5.9.1 启动集群

[root@node1 ~]# start-all.sh
image-20221231171224424image-20221231171224424

5.9.2 jps查看进程

(1)node1

[root@node1 ~]# jps
17427 NameNode
18308 Jps
17637 DataNode
17787 SecondaryNameNode
17932 ResourceManager
18061 NodeManager

(2)node2

[root@node2 ~]# jps
17332 NodeManager
17429 Jps
17247 DataNode

(3)node3

[root@node3 ~]# jps
17193 DataNode
17278 NodeManager
17375 Jps
仅有 1 条评论
user 编辑评论信息
插入图片

隐私评论
  1. @
    ppykx 1月2日
    Windows 10 · Chrome 108 · 上海市 电信

    😀

随机一言

:D 获取中...

文章目录

最新评论

随机文章

openstack平台部署(二)
openstack平台部署(二) 113 浏览 - 2022/07/13
Linux基础环境配置
Linux基础环境配置 152 浏览 - 2022/03/11
openstack平台部署(前期准备)
openstack平台部署(前期准备) 149 浏览 - 2022/03/11
福州福道
福州福道 73 浏览 - 2022/06/19
Docker部署jupyter多用户
Docker部署jupyter多用户 53 浏览 - 2022/11/29