Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

参照上一篇:单节点下安装hadoop伪分布式集群 安装完后,讲解安装hadoop集群点击打开链接

因为修改安装过的原因下面的/usr/local全部换为:/home/yexin/Haoop

1.将上一节点node78中/usr/local中的安装好的hadoop 复制到新节点node79下的/usr/local (该节点作为datanode)

将node78作为namenode

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

因为上一节点中hadoop已经配置好,所以配置文件无需配置,但要保证该节点的jdk与node82下的安装路径一样。因为所有 节点都时公用一个~/.bashrc (集群上创建用户时会分发到每个节点),当切换到其他节点时,~/.bashrc 中/usr/local等路径都是相应节点下的

2.因为该集群内网已经搭建好了 内网ip和节点名称都已经在/etc/hosts配置好了,

不介绍内网搭建,注意本集群除了主节点联网,其他节点都不联网。

3.复制好了后(sudo scp hadoop username@ip:/usr/local),因为该节点作为datanode,所以有些hadoop配置文件需要修

改。首先进入到/usr/local/hadoop/etc/hadoop下

修该以下几个文件

(1)core-site.xml

因为将node78作为namenode,其他节点作为datanode,

所以要通过core-site.xml指定主机名,修改如下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

之后当程序存取HDFS时,会使用hdfs://node78:9000这个目标存储HDFS

sudo service iptables stop关闭防火墙

(2)yarn-site.xml

修改如下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

说明:

8025 设置ResourceManager主机与NodeManager的连接地址

NodeManager通过这个地址与ResourceManager汇报情况

8030 设置ResourceManager主机与ApplicationMaster的连接地址

ApplicationMaster通过这个地址与ResourceManager申请资源,释放资源

8050 设置ResourceManager主机与客户端的连接地址

客户端通过该地址 ResourceManager注册应用程序,删除应用程序

YARN架构图

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

(图片来自hadoop官网http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)

(3)mapred-site.xml

修改如下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

(4)hdfs-site.xml

修改如下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

设置datanode HDFS存储目录,删除原来的namenode设置,因为该节点纯碎做datanode,

4.以上作为一个datanode已经设置好了,其他datanode节点可以从node79中的/usr/local的hadoop复制过来。

先复制到其他节点的/home/username/Packages下,再复制到/usr/local下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

sudo cp -r hadoop/ /usr/local

复制后修改文件所属者和组

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

5.配置namenode节点(即修改node82上的配置)

切换到node78 ,进入到cd /usr/local/hadoop/etc/hadoop/

(1)编辑 hdfs-site.xml

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

因为node82作为namenode所以设置namenode HDFS存储目录即可。

(2) 编辑masters文件(有些版本中/hadoop/etc/hadoop中没有这个文件,配置namenode时可以不用配置)

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

masters文件主要告诉hadoop系统哪一台机器是namenode

(3) 编辑slaves文件(该文件都有)

slaves文件主要告诉hadoop系统哪些机器是datanode

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

6.删除namenode和datanode中的不必要的文件

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

在node82上输入start-dfs.sh启动HDFS看见其他三个节点都启动了

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

输入:

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

启动Hadoop MapReduce的框架Yarn,

切换到namenode 和 datanode 输入jps看到各自的进程都完美开启

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

输入stop-all.sh可以关闭所有节点上的服务

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

网页打开看到:

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

当namenode启动不了(用jps命令在namenode节点上查看),看看是否50070端口开放。


原文链接:https://blog.csdn.net/qq_25948717/article/details/80299499

原创文章,作者:优速盾-小U,如若转载,请注明出处:https://www.cdnb.net/bbs/archives/7871

(0)
上一篇 2022年10月9日 09:13
下一篇 2022年10月9日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

优速盾注册领取大礼包www.cdnb.net
/sitemap.xml