hadoop集群中hadoop需要启动哪些进程
启动Hadoop
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
在分配的NameNode上,运行下面的命令启动HDFS:
$ bin/start-dfs.sh
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。
在分配的JobTracker上,运行下面的命令启动Map/Reduce:
$ bin/start-mapred.sh
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。
-----来自官方文档
Hadoop 启动进程
1、启动脚本hdfs start-dfs.sh
主要进程:DataNode 、NameNode、SecondaryNameNode、Launcher
2、yarn启动脚本 start-yarn.sh
主要进程:ResourceManager、NodeManager
3、start-all.sh包含 start-dfs.sh 、start-yarn.sh
4、stop-all.sh 包含 stop-dfs.sh、stop-yarn.sh
初次启动Hadoop
首先把Hadoop安装包解压到系统中
查看其目录结构
要修改hadoop的一些配置,在etc/hadoop/目录下,修改hadoop-env.sh
配置jdk的路径
启动hadoop所有进程的命令是 启动hadoop有几种方式
修改core-site.xml
在configuration中添加
fs.defaultFS 表示hadoop默认的文件系统是什么
hadoop.tmp.dir 表示其他datanode产生的要放在namenode上的文件的存放路径
启动hadoop所有进程的命令是 启动hadoop有几种方式
在/etc/profile中添加Hadoop的环境变量配置,之后source
此时已经可以启动hadoop了
启动前先初始化hadoop 也就是创建那个临时目录
表示成功
启动hadoop的命令是hadoop-daemon.sh start namenode
查看一下 pid=4778即为hadoop的进程 9000是刚才在配置文件中配置的内部端口 50070是外部窗口
打开电脑上的浏览器输入nn-01:50070(nn-01是hostname)即可出现如下界面 证明hadoop启动成功并可访问
启动hadoop中have命令
Hadoop集群启动命令。
1、启动NameNode,DataNode。
启动hadoop所有进程的命令是 启动hadoop有几种方式
2、启动JournalNode,JournalNode在hdfs-site.xml中指定editslog存储的位置,主备NameNode共享数据,方便同步。
3)、启动DFSZKFailoverController,HA会启用ZooKeeperFailoverController。
4、启动YARN守护进程ResourceManager,NodeManager。
如何启动hadoop服务
首先,哪些服务器作为datanode,是根据你的"hadoop的安装目录/etc/conf/slaves"配置的主机的别名来决定的。
其次,在第一次启动Hadoop前,必须先将HDFS格式化。使用hadoop namenode -format命令来格式化。
然后执行下述命令来启动hadoop相关组件。
cd hadoop的安装目录/sbin
./start-all.sh
最后通过直接输入jps命令,来查看namenode、datanode是否启动成功。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, website.service08@gmail.com 举报,一经查实,本站将立刻删除。