参照上一篇:单节点下安装hadoop伪分布式集群 安装完后,讲解安装hadoop集群点击打开链接
因为修改安装过的原因下面的/usr/local全部换为:/home/yexin/Haoop
1.将上一节点node78中/usr/local中的安装好的hadoop 复制到新节点node79下的/usr/local (该节点作为datanode)
将node78作为namenode
因为上一节点中hadoop已经配置好,所以配置文件无需配置,但要保证该节点的jdk与node82下的安装路径一样。因为所有 节点都时公用一个~/.bashrc (集群上创建用户时会分发到每个节点),当切换到其他节点时,~/.bashrc 中/usr/local等路径都是相应节点下的
2.因为该集群内网已经搭建好了 内网ip和节点名称都已经在/etc/hosts配置好了,
不介绍内网搭建,注意本集群除了主节点联网,其他节点都不联网。
3.复制好了后(sudo scp hadoop username@ip:/usr/local),因为该节点作为datanode,所以有些hadoop配置文件需要修
改。首先进入到/usr/local/hadoop/etc/hadoop下
修该以下几个文件
(1)core-site.xml
因为将node78作为namenode,其他节点作为datanode,
所以要通过core-site.xml指定主机名,修改如下
之后当程序存取HDFS时,会使用hdfs://node78:9000这个目标存储HDFS
sudo service iptables stop关闭防火墙
(2)yarn-site.xml
修改如下
说明:
8025 设置ResourceManager主机与NodeManager的连接地址
NodeManager通过这个地址与ResourceManager汇报情况
8030 设置ResourceManager主机与ApplicationMaster的连接地址
ApplicationMaster通过这个地址与ResourceManager申请资源,释放资源
8050 设置ResourceManager主机与客户端的连接地址
客户端通过该地址 ResourceManager注册应用程序,删除应用程序
YARN架构图
(图片来自hadoop官网http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)
(3)mapred-site.xml
修改如下
(4)hdfs-site.xml
修改如下
设置datanode HDFS存储目录,删除原来的namenode设置,因为该节点纯碎做datanode,
4.以上作为一个datanode已经设置好了,其他datanode节点可以从node79中的/usr/local的hadoop复制过来。
先复制到其他节点的/home/username/Packages下,再复制到/usr/local下
sudo cp -r hadoop/ /usr/local
复制后修改文件所属者和组
5.配置namenode节点(即修改node82上的配置)
切换到node78 ,进入到cd /usr/local/hadoop/etc/hadoop/
(1)编辑 hdfs-site.xml
因为node82作为namenode所以设置namenode HDFS存储目录即可。
(2) 编辑masters文件(有些版本中/hadoop/etc/hadoop中没有这个文件,配置namenode时可以不用配置)
masters文件主要告诉hadoop系统哪一台机器是namenode
(3) 编辑slaves文件(该文件都有)
slaves文件主要告诉hadoop系统哪些机器是datanode
6.删除namenode和datanode中的不必要的文件
在node82上输入start-dfs.sh启动HDFS看见其他三个节点都启动了
输入:
启动Hadoop MapReduce的框架Yarn,
切换到namenode 和 datanode 输入jps看到各自的进程都完美开启
输入stop-all.sh可以关闭所有节点上的服务
网页打开看到:
当namenode启动不了(用jps命令在namenode节点上查看),看看是否50070端口开放。
原文链接:https://blog.csdn.net/qq_25948717/article/details/80299499
原创文章,作者:优速盾-小U,如若转载,请注明出处:https://www.cdnb.net/bbs/archives/7871