window下Eclipse远程只读HDFS上的文件

作者: 疯狂小兵 | 2016-12-14 | 阅读
「编辑」 「本文源码」

准备环境

运行环境

  • hadoop2.7.2 集群环境(三个节点,h2m1,h2s1,h2s2)
  • jdk 1.7.0_75版本
  • centos6.5系统

开发环境

  • windows7 企业版 64位
  • 8G内存
  • eclipse 4.5
  • 插件 hadoop-eclipse-plugin-2.6.0.jar

配置插件

  • 将插件hadoop-eclipse-plugin-2.6.0.jar 复制到Eclipse安装目录下的plugins目录下,重启Eclipse。

  • window –> show view –> other –> MapReduce Tools –> Map/Reduce Locations 点击打开MapReduce配置窗口。

MR定位窗口

右击 –> New Hadoop Location –> 显示配置页面

MR定位窗口

说明:

Location Name:随便填

Map/Reduce(V2) Master:

Host: MapReduce主节点的Ip地址

port:hdfs-default.xml中配置的dfs.datanode.address对应端口(默认为50010),此端口为DataNode数据传输的端口。 如果没有配置或不知道可以通过http://host:50070/dfshealth.html#tab-datanode地址查看

MR定位窗口

DFS M/R Master Host :

Host:可以默认使用Map/Reduce(V2) Master指定的Host

Port: core-site.xmlfs.defaultFS指定的端口。如果配置了ViewFs和Federation,则为hdfs-site.xml中的dfs.namenode.rpc-address.<namespaceId>的值。

User name : 为运行HDFS的用户名

查看Hdfs下的文件

Eclipse 的Project Explore 下的DFS Location下一般配置正确就可以查看了。

在Eclipse中查看HDfs中的文件

注意:在eclipse中显示的HDFS中的文件的内容只能查看不能修改,因为当前查看的用户不是运行HDFS的用户。

截止次为止,该插件的功能就基本介绍完了,亲自测试该插件不能提交远程MR程序。


版权声明:本文由 在 2016年12月14日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《window下Eclipse远程只读HDFS上的文件》




  相关文章:

「游客及非Github用户留言」:

「Github登录用户留言」:

TOP