准备环境
运行环境
- hadoop2.7.2 集群环境(三个节点,h2m1,h2s1,h2s2)
- jdk 1.7.0_75版本
- centos6.5系统
开发环境
- windows7 企业版 64位
- 8G内存
- eclipse 4.5
- 插件 hadoop-eclipse-plugin-2.6.0.jar
配置插件
-
将插件hadoop-eclipse-plugin-2.6.0.jar 复制到Eclipse安装目录下的plugins目录下,重启Eclipse。
-
window –> show view –> other –> MapReduce Tools –> Map/Reduce Locations 点击打开MapReduce配置窗口。
右击 –> New Hadoop Location –> 显示配置页面
说明:
Location Name:随便填
Map/Reduce(V2) Master:
Host: MapReduce主节点的Ip地址
port:hdfs-default.xml中配置的dfs.datanode.address对应端口(默认为50010),此端口为DataNode数据传输的端口。 如果没有配置或不知道可以通过http://host:50070/dfshealth.html#tab-datanode地址查看
DFS M/R Master Host :
Host:可以默认使用Map/Reduce(V2) Master指定的Host
Port: core-site.xml
中fs.defaultFS
指定的端口。如果配置了ViewFs和Federation,则为hdfs-site.xml
中的dfs.namenode.rpc-address.<namespaceId>
的值。
User name : 为运行HDFS的用户名
查看Hdfs下的文件
Eclipse 的Project Explore 下的DFS Location下一般配置正确就可以查看了。
注意:在eclipse中显示的HDFS中的文件的内容只能查看不能修改,因为当前查看的用户不是运行HDFS的用户。
截止次为止,该插件的功能就基本介绍完了,亲自测试该插件不能提交远程MR程序。
版权声明:本文由 在 2016年12月14日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《window下Eclipse远程只读HDFS上的文件》