dataflow论文阅读笔记 Polysh的安装使用 SnappyData排序函数比较 Squirrel-sql客户端连接SnappyData手册 在虚拟机里显示Hello World spark学习博客推荐 SnappyData学习博客和官网文章 Docker常用命令 MyBatis支持的OGNL语法 mysql性能优化 mysql性能优化-优化Sql语句 java各版本新特性 mac上命令行操作 explain输出格式 从文件中读取zk配置——ZooKeeper编程技能(1) git进阶经验-从项目中删除移除的目录 Mongodb 学习之shell命令操作(3) mysql命令 git进阶经验-从多模块项目中分理子模块 从零学hadoop-搭建基础(单点)的Hdfs环境 ZooKeeper集群操作脚本 Vue安装使用 2 初学JVM之问答式记住类加载机制 2 初学JVM之问答式记住虚拟机性能监控与故障处理工具 2 初学JVM之问答式记住垃圾收集器 log4j2 按天生成日志文件 1 初学JVM之问答式记住java自动内存管理 MapReduce学习心得之MapReduce初识 log4j2 日志发送到kafka配置实战 log4j2 日志配置实战 Mongodb 学习之shell命令操作(二) Mongodb 学习之linux版本安装(一) Dubbo的初级使用 ServiceLoader内部实现分析 ServiceLoader 初级应用 log4j日志发送邮件配置实战 红黑树笔记 IDEA首次使用之前的配置 java源码学习之Enum java源码学习之String 自定义Spring tag标签 编写一键发布脚本 记一次Spring Scheduler莫名不执行的一次堆栈分析 kafka的基本操作 nginx 5:Nginx内部变量 nginx 4:Nginx日志管理 提高hadoop配置效率的shell脚本 Hive编程指南之一 Hive的安装 Ambari服务器安装 Ambari服务器管理集群 HBase分布式安装 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 搭建JStorm集群 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 配置vmware中的虚拟机使用宿主机的共享网络 YARN架构简述 HDFS 架构 Spring的统一异常处理机制 Tomcat 配置服务 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 nginx 3:Nginx反向代理 mybatis操作主体流程 1.正则表达式学习-基础篇 log4j日志配置详解 mysql的时间函数 nginx 2:Nginx模块配置理论及实战 HashMap相关解析和测试文章 工作一年后的面试 用私有构造器或枚举类型强化Singleton属性 java中比较重要的图 mybatis处理枚举类 mybatis集成进spring Spring比较重要的几个截图 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 markdown在jekyll中支持的一些操作 Spring项目中配置sl4j和log4j的日志配置 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 Spring的profile机制介绍 mybatis-generator反向生成 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 (转)浅析 Decorator 模式,兼谈 CDI Decorator 注解 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 Http 协议相应状态码大全及常用状态码 IDEA快捷键 JDBC Type与Java Type redis 12:redis 操作集合 mybatis-generator错误集合 redis 11:redis 错误集合 nginx 1:nginx的安装 redis 10:redis cluster命令操作 redis 9:redis实例集群安装 java设计模式 hadoop集群学习笔记(1) Apache Shiro 简介 vim编辑神器的进阶命令 Eclipse配置 Eclipse快捷键 Linux 测试题 Linux脚本学习(1) Linux启动简要过程 Centos7上安装Mysql hadoop集群学习笔记(1) (转)分布式发布订阅消息系统 Kafka 架构设计 maven 命令 Kafka集群安装 Kafka初步使用 redis 8:redis server 和 scripting命令操作 redis 7:redis transaction 和 connection命令操作 redis 6:redis hash 命令操作 redis 5:redis sorted_set 命令操作 搭建本地Jekyll+Markdown+Github的开发环境 Spring源码阅读笔记(2) redis 4:redis set命令操作 Spring添加任务调度配置 redis 3:Redis list命令操作 redis 2:redis 一般命令操作 redis 1:redis单机安装笔记 redis 0:redis配置属性描述 Spring源码阅读笔记(1) spark 错误集锦 spark集群安装 Linux 基本命令操作 Hadoop错误信息处理 Hadoop代码拾忆 从零开始搭建spring-springmvc-mybatis-mysql和dubbo项目 java知识点札记 java排错 Google Java Style 中文版 git进阶经验 github使用经验 MongoDB用户角色授权与AUTH启用 MongoDB 命令 MongoDB 特定规范 Spring MVC实现跳转的几种方式 史上最全最强SpringMVC详细示例实战教程 Spring 零星笔记 js中(function(){…})()立即执行函数写法理解 如何解决跨域问题 创建ajax简单过程 前端定位 设置MYSQL允许通过IP访问 mybatis异常 :元素内容必须由格式正确的字符数据或标记组成 如何为 WordPress 绑定多个域名的方法s WordPress工作原理之程序文件执行顺序(传说中的架构源码分析) Spring源码导入Eclipse中 基于PHPnow搭建Eclipse开发环境 解决wordpress首页文章内容截断处理的几种方法 ZooKeeper理论知识 ZooKeeper集群安装配置 Git常用命令速查表 Linux 4:磁盘与文件系统管理 Linux 3:文件与目录管理 Linux 2:文件权限与目录配置 Markdown输入LaTeX数学公式
从零学hadoop-搭建基础(单点)的Hdfs环境 MapReduce学习心得之MapReduce初识 Ambari服务器安装 Ambari服务器管理集群 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 YARN架构简述 HDFS 架构 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 hadoop集群学习笔记(1) hadoop集群学习笔记(1) Hadoop错误信息处理 Hadoop代码拾忆

04.hadoop-2.7.2官网文档翻译-Hadoop命令指南

2016年07月05日
摘要:

概要

所有的Hadoop命令都会调用bin/hadoop脚本,运行该脚本不带任何参数,将会显示所有命令的描述。

用法:hadoop [–config confdir] [–loglevel loglevel] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]


区域 描述
–config confdir 覆盖掉默认的配置文件目录。默认是${HADOOP_HOME}/conf
–loglevel loglevel 覆盖日志显示水平,合法日志水平为FATAL,ERROR,WARN,INFO,DEBUG,TRACE,默认为INFO
GENERIC_OPTIONS 多个命令支持的常用选项集。
COMMAND_OPTIONS 在该文档中描述的Hadoop common子项目的操作的多样命令。HDFS和YARN在其他文档中。

通用操作

许多子命令提供了通用的配置参数集合来改变他们的行为


通用操作 描述
-archives 执行计算机上用逗号分隔的文档列表,仅适用于job
-conf 指定应用的配置文件
-D = 使用给定属性的设置值
-files 指定要被复制到MapReduce集群的文档列表(由逗号分隔),仅适用于job
-jt or 指定ResourceManager,仅适用于job
-libjars 指定添加进classpath的jar文件集合(由逗号分隔),仅适用于job

Hadoop通用命令

所有这些命令从hadoopshell中执行。已经被分解为普通用户命令和管理员命令

普通用户命令

该命令集合对Hadoop集群的用户很有用

  • archive

    创建一个Hadoop archive,更多信息可以查看Hadoop文档指南

  • checknative

用法:hadoop checknative [-a] [-h]


命令操作 描述
-a 检查所有的库都可用,默认只检查Hadoop的库(window上还检查winutils.exe)
-h 显示该帮助信息

该命令会检查Hadoop的原生代码。查看NativeLibraries.html获取更多信息。

  • classpath
用法:hadoop classpath [–glob –jar -h –help]

命令操作 描述
–glob 通配符
–jar path path处写类路径
-h, –help 显示该帮助信息

显示class path需要获取到Hadoop的jar和需要的库。如果无参调用,会打印命令脚本设置的classpath,可能会在classpath条目中包含通配符。附加选项打印classpath后通配符扩展或将classpath写入一个jar文件的manifest中。 后者在不能用通配符和扩展路径超过命令行最大长度限制的环境中是很有用的。

  • credential

用法:hadoop credential [options]


命令操作 描述
create alias [-provider provider-path] 提示用户要将凭据存储为给定的别名。在指明-provider情况下,core-site.xml文件中的hadoop.security.credential.provider.path将会被用到
delete alias [-provider provider-path] [-f] 用所提供的别名删除凭据。在指明-provider情况下,core-site.xml文件中的hadoop.security.credential.provider.path将会被用到。不使用-f,将会显示确认信息。
list [-provider provider-path] 所有凭证别名的列表。在指明-provider情况下,core-site.xml文件中的hadoop.security.credential.provider.path将会被用到

管理凭证提供者的凭证,密码和秘钥的命令。

该凭证提供者的API接口在Hadoop中允许应用分离和他们怎样存储他们需要的密码和秘钥。为了表明特定的提供者类型和位置,用户必须在core-site.xml中提供hadoop.security.credential.provider.path配置元素或者在每次执行命令时使用命令参数选项 -provider。 此提供程序路径是一个逗号分隔的目录列表,该列表指示应该被咨询的供应商列表的类型和位置。 比如下面路径示例:

user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path/test.jceks

指明当前用户的凭证文件应该经由用户提供者咨询,其存在于/tmp/test.jceks的本地文件是java的秘钥库提供者。该文件在HDFS中在nn1.example.com/my/path/test.jceks,也是java的秘钥库提供者的存储地。

当使用凭据命令时,他往往是为一个特定的凭据存储提供商提供一个密码或秘钥。为了明确指明那个提供商存储将被使用,需要用-provider选项。否则给定一个多提供商的路径,第一个非瞬态提供商将会被使用。这也可能是或可能不是你想要的。

举例:hadoop credential list -provider jceks://file/tmp/test.jceks

distcp

递归复制文件或目录。更多信息请看Hadoop DistCp 指南

fs

该命令记录在文件系统shell指南。 在HDFS使用时,这是一个hdfs dfs的同义词。

jar

用法:hadoop jar <jar> [mainClass] args...

运行一个jar文件

使用yarn jar来启动YARN的应用程序。

key

通过key提供商管理key

trace

查看和修改Hadoop追踪设置。请看追踪指南

version

用法:hadoop version

打印Hadoop的版本信息

CLASSNAME

用法:hadoop CLASSNAME

运行名称为CLASSNAME的类

管理员命令

该命令集合对Hadoop集群的管理员非常有用

daemonlog

在守护进程中为合法的类名设置或打印日志等级。

用法:

hadoop daemonlog -getlevel <host:httpport> <classname>
hadoop daemonlog -setlevel <host:httpport> <classname> <level>

   
-getlevel host:httpport classname 从运行在host:port上的守护进程中打印合格的类名标识的日志等级。此命令内部连接到http://<host:httpport>/logLevel?log=<classname>
-setlevel host:httpport classname level 从运行在host:port上的守护进程中设置合格的类名标识的日志等级。此命令内部连接到http://<host:httpport>/logLevel?log=<classname>&level=<level>

举例:$ bin/hadoop daemonlog -setlevel 127.0.0.1:50070 org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG