Hadoop代码拾忆

作者: 疯狂小兵 | 2016-04-23 | 阅读
「编辑」 「本文源码」

伪分布式运行hadoop自带Wordcount程序

 [root@h2m1 ~]# hadoop jar /opt/local/hadoop271/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs:///user/root/input hdfs:///user/root/output
 

运行截图:

1

2

3

web页面中任务执行结果:

4

hadoop设置成功之后,只是对master格式化

不需要对datanode节点格式化,格式化实质上说对NameNode的元数据区进行格式化。

启动成功namenode和yarn集群的标识

截图:

namenode格式化成功:

5

namenode、datanode和secondary namenodes停止成功:

6

集群yarn启动成功:

7

namenode -format 再次格式化时错误

每次使用hdfs namenode -format格式化文件系统时会产生新的namenodeId,如果自定义的temp目录或datanode和namenode目录data、name不为空就会失败,只要将该部分内容清空即可。


版权声明:本文由 在 2016年04月23日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《Hadoop代码拾忆》




  相关文章:

「游客及非Github用户留言」:

「Github登录用户留言」:

TOP