在一般情况下,建议 HDFS 和 YARN 作为单独的用户运行。在大多数安装中,HDFS 执行 “hdfs”。YARN 通常使用“yarn”帐户。

    Hadoop 启动

    为了启动 Hadoop 集群,你需要启动 HDFS 和 YARN 集群。

    第一次使用 HDFS 需要格式化。 作为 hdfs 格式化新分发的文件系统:

    作为 hdfs,通过如下命令启动 HDFS NameNode 到指定的节点 :

    作为 hdfs,通过如下命令启动 HDFS DataNode 到每个指定的节点 :

    1. [hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

      作为 yarn,通过下面的命令启动 YARN,运行指定的 ResourceManager :

      1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

      作为 yarn,运行脚本来启动从机上的所有 NodeManager:

      作为 yarn,启动本地化的 WebAppProxy 服务器。如果想使用大量的服务器来实现负载均衡,那么它就应该运行在它们各自机器之上:

      1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

      作为 yarn,如果 和 ssh 可信任访问已经配置,那么所有的 YARN 进程都可以通过脚本工具来启动:

      1. [yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

      作为 mapred,根据下面的命令启动 MapReduce JobHistory Server :

      1. [mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

      Hadoop 关闭

        作为 hdfs,运行脚本停止在所有从机上的所有 DataNode:

        作为 hdfs,如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置,那么所有的 HDFS 进程都可以通过脚本工具来关闭:

        1. [hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

        作为 yarn,通过以下命令停止 ResourceManager:

        作为 yarn,运行一下脚本停止 slave 机器上的 NodeManager :

        1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

        作为 yarn,如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置,那么所有的 YARN 进程都可以通过脚本工具来关闭

        1. [yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

        作为 mapred,通过以下命令停止 MapReduce JobHistory Server :