09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群

作者: 疯狂小兵 | 2016-07-14 | 阅读
「编辑」 「本文源码」

目标

使用CLI微型集群,用户可以使用一条命令简单的启动或停止单节点的Hadoop集群,不需要设置任何环境变量或者管理配置文件。CLI的微型集群同时启动YARN/MapReduce和HDFS集群。

对于用户想要快速体验真是的Hadoop集群或者依靠显著的Hadoop功能测试非java程序都是很有用的。

Hadoop TarBall

你应该可以从发行版本中获取Hadoop的Tar包。你也可以从源码直接常见一个tar包。

$ mvn clean install -DskipTests

$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意:你需要安装protoc 2.5.0

tar包可以在hadoop-dist/target/目录中获得。

运行微型集群

从root目录提取出来tar包,你可以使用以下命令启动CLI微型集群:

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

以上是举例的一个命令。RM_PORTJHS_PORT应该被用户选择的端口替换。如果没有指定,将会随机使用空闲的端口。

这里有一系列用户会用来控制服务启动的命令。通过其他的配置属性。可获得的命令行参数如下:

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       How many datanodes to start (default 1)
$ -format                Format the DFS (default false)
$ -help                  Prints option help.
$ -jhsport <arg>         JobHistoryServer port (default 0--we choose)
$ -namenode <arg>        URL of the namenode (default is either the DFS
                         cluster or a temporary dir)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nodemanagers <arg>    How many nodemanagers to start (default 1)
$ -nodfs                 Don't start a mini DFS cluster
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager port (default 0--we choose)
$ -writeConfig <path>    Save configuration to this XML file.
$ -writeDetails <path>   Write basic information to this JSON file.

为了显示完整的可获得参数,用户可以通过-help参数显示上面的命令。


版权声明:本文由 在 2016年07月14日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群》




  相关文章:

「游客及非Github用户留言」:

「Github登录用户留言」:

TOP