1. > 生活百科 >

启动hadoop所有进程的命令是 启动hadoop有几种方式

hadoop集群中hadoop需要启动哪些进程

启动Hadoop

启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统:

$ bin/hadoop namenode -format

在分配的NameNode上,运行下面的命令启动HDFS:

$ bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上,运行下面的命令启动Map/Reduce:

$ bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。

-----来自官方文档

Hadoop 启动进程

1、启动脚本hdfs start-dfs.sh

主要进程:DataNode 、NameNode、SecondaryNameNode、Launcher

2、yarn启动脚本 start-yarn.sh

主要进程:ResourceManager、NodeManager

3、start-all.sh包含 start-dfs.sh 、start-yarn.sh

4、stop-all.sh 包含 stop-dfs.sh、stop-yarn.sh

初次启动Hadoop

首先把Hadoop安装包解压到系统中

查看其目录结构

要修改hadoop的一些配置,在etc/hadoop/目录下,修改hadoop-env.sh

配置jdk的路径

启动hadoop所有进程的命令是 启动hadoop有几种方式启动hadoop所有进程的命令是 启动hadoop有几种方式


修改core-site.xml

在configuration中添加

fs.defaultFS 表示hadoop默认的文件系统是什么

hadoop.tmp.dir 表示其他datanode产生的要放在namenode上的文件的存放路径

启动hadoop所有进程的命令是 启动hadoop有几种方式启动hadoop所有进程的命令是 启动hadoop有几种方式


在/etc/profile中添加Hadoop的环境变量配置,之后source

此时已经可以启动hadoop了

启动前先初始化hadoop 也就是创建那个临时目录

表示成功

启动hadoop的命令是hadoop-daemon.sh start namenode

查看一下 pid=4778即为hadoop的进程 9000是刚才在配置文件中配置的内部端口 50070是外部窗口

打开电脑上的浏览器输入nn-01:50070(nn-01是hostname)即可出现如下界面 证明hadoop启动成功并可访问

启动hadoop中have命令

Hadoop集群启动命令。

1、启动NameNode,DataNode。

启动hadoop所有进程的命令是 启动hadoop有几种方式启动hadoop所有进程的命令是 启动hadoop有几种方式


2、启动JournalNode,JournalNode在hdfs-site.xml中指定editslog存储的位置,主备NameNode共享数据,方便同步。

3)、启动DFSZKFailoverController,HA会启用ZooKeeperFailoverController。

4、启动YARN守护进程ResourceManager,NodeManager。

如何启动hadoop服务

首先,哪些服务器作为datanode,是根据你的"hadoop的安装目录/etc/conf/slaves"配置的主机的别名来决定的。

其次,在第一次启动Hadoop前,必须先将HDFS格式化。使用hadoop namenode -format命令来格式化。

然后执行下述命令来启动hadoop相关组件。

cd hadoop的安装目录/sbin

./start-all.sh

最后通过直接输入jps命令,来查看namenode、datanode是否启动成功。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, website.service08@gmail.com 举报,一经查实,本站将立刻删除。

联系我们

工作日:9:30-18:30,节假日休息