【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode | 您所在的位置:网站首页 › hadoop未找到命令jps › 【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode |
引言
最近在尝试在搭建Hadoop集群并测试集群是否搭建成功,但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了,二者没有同时存在,也尝试过停止进程再重新启动都没有解决掉该问题。 相关命令集群第一次启动,格式化NameNode bin/hdfs namenode -format启动HDFS sbin/start-dfs.sh停止HDFS sbin/stop-dfs.sh启动YARN sbin/start-yarn.sh停止YARN sbin/stop-yarn.sh启动历史服务器 sbin/mr-jobhistory-daemon.sh start historyserver停止所有进程 sbin/stop-all.sh删除文件 rm 文件名删除文件夹及文件 rm -rf 文件夹名 问题原因可能是配置文件出错,需要检查core-site.xml 和 hdfs-site.xml这俩文件; 可能是多次格式化NameNode,但是格式之前并没有停止之前的进程并删除相关数据。 解决方式(1)需要检查core-site.xml 和 hdfs-site.xml; (2)重新格式化:先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据。(具体删除方式见下面截图,亲测有效!) 删除dfs文件夹里的文件 路径:/opt/module/hadoop-2.7.2/data/tmp/dfs![]() ![]() ![]() 节点1(NameNode): 如果集群是第一次启动,需要格式化NameNode,执行一次format就行了(注意格式化之前或者重新格式化,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据),start-dfs.sh开启namenode和datanode守护进程,停止进程并退出使用stop-dfs.sh。 |
CopyRight 2018-2019 实验室设备网 版权所有 |