IDEA常用插件 Mybatis源码分析(1) - Mybatis包目录简介 tair 1:tair学习 dataflow论文阅读笔记 Polysh的安装使用 SnappyData排序函数比较 Squirrel-sql客户端连接SnappyData手册 在虚拟机里显示Hello World spark学习博客推荐 SnappyData学习博客和官网文章 Docker常用命令 MyBatis支持的OGNL语法 mysql性能优化 mysql性能优化-优化Sql语句 java各版本新特性 mac上命令行操作 explain输出格式 从文件中读取zk配置——ZooKeeper编程技能(1) git进阶经验-从项目中删除移除的目录 Mongodb 学习之shell命令操作(3) mysql命令 git进阶经验-从多模块项目中分理子模块 从零学hadoop-搭建基础(单点)的Hdfs环境 ZooKeeper集群操作脚本 Vue安装使用 2 初学JVM之问答式记住类加载机制 2 初学JVM之问答式记住虚拟机性能监控与故障处理工具 2 初学JVM之问答式记住垃圾收集器 log4j2 按天生成日志文件 1 初学JVM之问答式记住java自动内存管理 MapReduce学习心得之MapReduce初识 log4j2 日志发送到kafka配置实战 log4j2 日志配置实战 Mongodb 学习之shell命令操作(二) Mongodb 学习之linux版本安装(一) Dubbo的初级使用 ServiceLoader内部实现分析 ServiceLoader 初级应用 log4j日志发送邮件配置实战 红黑树笔记 IDEA首次使用之前的配置 java源码学习之Enum java源码学习之String 自定义Spring tag标签 编写一键发布脚本 记一次Spring Scheduler莫名不执行的一次堆栈分析 kafka的基本操作 nginx 5:Nginx内部变量 nginx 4:Nginx日志管理 提高hadoop配置效率的shell脚本 Hive编程指南之一 Hive的安装 Ambari服务器安装 Ambari服务器管理集群 HBase分布式安装 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 搭建JStorm集群 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 配置vmware中的虚拟机使用宿主机的共享网络 YARN架构简述 HDFS 架构 Spring的统一异常处理机制 Tomcat 配置服务 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 nginx 3:Nginx反向代理 mybatis操作主体流程 1.正则表达式学习-基础篇 log4j日志配置详解 mysql的时间函数 nginx 2:Nginx模块配置理论及实战 HashMap相关解析和测试文章 工作一年后的面试 用私有构造器或枚举类型强化Singleton属性 java中比较重要的图 mybatis处理枚举类 mybatis集成进spring Spring比较重要的几个截图 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 markdown在jekyll中支持的一些操作 Spring项目中配置sl4j和log4j的日志配置 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 Spring的profile机制介绍 mybatis-generator反向生成 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 (转)浅析 Decorator 模式,兼谈 CDI Decorator 注解 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 Http 协议相应状态码大全及常用状态码 IDEA快捷键 JDBC Type与Java Type redis 12:redis 操作集合 mybatis-generator错误集合 redis 11:redis 错误集合 nginx 1:nginx的安装 redis 10:redis cluster命令操作 redis 9:redis实例集群安装 java设计模式 hadoop集群学习笔记(1) Apache Shiro 简介 vim编辑神器的进阶命令 Eclipse配置 Eclipse快捷键 Linux 测试题 Linux脚本学习(1) Linux启动简要过程 Centos7上安装Mysql hadoop集群学习笔记(1) (转)分布式发布订阅消息系统 Kafka 架构设计 maven 命令 Kafka集群安装 Kafka初步使用 redis 8:redis server 和 scripting命令操作 redis 7:redis transaction 和 connection命令操作 redis 6:redis hash 命令操作 redis 5:redis sorted_set 命令操作 搭建本地Jekyll+Markdown+Github的开发环境 Spring源码阅读笔记(2) redis 4:redis set命令操作 Spring添加任务调度配置 redis 3:Redis list命令操作 redis 2:redis 一般命令操作 redis 1:redis单机安装笔记 redis 0:redis配置属性描述 Spring源码阅读笔记(1) spark 错误集锦 spark集群安装 Linux 基本命令操作 Hadoop错误信息处理 Hadoop代码拾忆 从零开始搭建spring-springmvc-mybatis-mysql和dubbo项目 java知识点札记 java排错 Google Java Style 中文版 git进阶经验 github使用经验 MongoDB用户角色授权与AUTH启用 MongoDB 命令 MongoDB 特定规范 Spring MVC实现跳转的几种方式 史上最全最强SpringMVC详细示例实战教程 Spring 零星笔记 js中(function(){…})()立即执行函数写法理解 如何解决跨域问题 创建ajax简单过程 前端定位 设置MYSQL允许通过IP访问 mybatis异常 :元素内容必须由格式正确的字符数据或标记组成 如何为 WordPress 绑定多个域名的方法s WordPress工作原理之程序文件执行顺序(传说中的架构源码分析) Spring源码导入Eclipse中 基于PHPnow搭建Eclipse开发环境 解决wordpress首页文章内容截断处理的几种方法 ZooKeeper理论知识 ZooKeeper集群安装配置 Git常用命令速查表 Linux 4:磁盘与文件系统管理 Linux 3:文件与目录管理 Linux 2:文件权限与目录配置 Markdown输入LaTeX数学公式
从零学hadoop-搭建基础(单点)的Hdfs环境 MapReduce学习心得之MapReduce初识 Ambari服务器安装 Ambari服务器管理集群 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 YARN架构简述 HDFS 架构 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 hadoop集群学习笔记(1) hadoop集群学习笔记(1) Hadoop错误信息处理 Hadoop代码拾忆

05.hadoop-2.7.2官网文档翻译-文件系统命令

2016年07月05日
摘要:

概览

文件系统shell包括多种直接与HDFS交互的类shell命令以及其他文件系统,Hadoop的支持。就像本地文件系统,HFTP文件系统,S3文件系统等待。

文件系统shell的调用如下:

bin/hadoop fs <args>

所有的文件系统shell命令把URI路径作为参数。URI格式如scheme://authority/path

HDFS文件系统的scheme是hdfs,本地文件系统的scheme是file。scheme 和authority是非强制性的。如果未指定,会使用配置中指定的默认的scheme。 HDFS文件或目录如/parent/child可以指定为 ` hdfs://namenodehost/parent/child或简单的/parent/child(在你的配置中设置指向hdfs://namenodehost`).

文件系统中大部分的命令像对应的Unix命令。不同的是每个命令描述的差异。错误信息发送到stderr,普通输出发送到stdout.

在HDFS的使用中,hdfs dfsHadoop fs是同义词。可以看命令手册

appendToFile

用法: hadoop fs -appendToFile <localsrc> ... <dst>

追加本地文件系统中单个文件或者多个文件到目标文件系统(HDFS),也可以从stdin(标准输入)中读取并追加到目标文件系统中。

  • 追加单个文件到hdfs

    hadoop fs -appendToFile localfile /user/hadoop/hadoopfile

  • 追加多个本地文件到hdfs

    hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile

  • 追加本地文件到hdfs

    hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile

  • 读取标准输入到hdfs

    hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile

错误码:

成功:0
失败:1

cat

用法:hadoop fs -cat URI [URI ...]

复制原路径文件内容到标准输出stdout

举例:

  • 查看多个hdfs上的文件

    hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2

  • 查看本地文件和hdfs上的文件

    hadoop fs -cat file:///file3 /user/hadoop/file4

错误码:

成功:0
失败:-1

checksum

用法:hadoop fs -checksum URI

返回文件的checksum信息

举例:

  • 查看hdfs上的文件校验和

    hadoop fs -checksum hdfs://nn1.example.com/file1

  • 查看本地文件校验和

    hadoop fs -checksum file:///etc/hosts

chgrp

用法:hadoop fs -chgrp [-R] GROUP URI [URI ...]

更改文件所属的组。用户必须是文件的所有者或者是超级用户。 附加信息在权威指南

选项:

  • -R

    该参数选项会递归目录进行更改

chmod

用法:hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

更改文件的权限。用户必须是文件的所有者或者是超级用户。 附加信息在权威指南

选项:

  • -R

    该参数选项会递归目录进行更改

chown

用法: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

更改文件的所有人。用户必须是超级用户。 附加信息在权威指南

选项:

  • -R

    该参数选项会递归目录进行更改

copyFromLocal

用法: hadoop fs -copyFromLocal <localsrc> URI

put命令相似,但该参数的源文件地址仅限本地文件

选项:

  • -f

    如果目标文件已经存在就会被强制覆盖

copyToLocal

用法: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

get命令相似,但目标文件只能是本地文件

count

用法:hadoop fs -count [-q] [-h] [-v] <paths>

记录目录和文件的数量。路径下匹配指定文件模式的大小。

-count:输出列依次为:目录数量,文件数量,内容大小,路径名称

-count -q:输出列依次为:配额,剩余配额,空间配额,剩余空间配额,目录数量,文件数量,内容大小,路径名称

-h :显示可读的大小

-v :显示header行(Hadoop2.7.2程序中没有改选项)

举例:

  • 统计hdfs上的多个文件大小

    hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2

  • 统计hdfs上的文件大小及配额

    hadoop fs -count -q hdfs://nn1.example.com/file1

  • 统计hdfs上的文件大小和配额并以可读方式显示

    hadoop fs -count -q -h hdfs://nn1.example.com/file1

  • 统计hdfs上的文件大小和配额并以可读方式显示,并显示header行

    hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1

错误码:

成功:0
失败:-1

cp

用法: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

将文件从原位置复制到目标文职。该命令允许多个源,但这样的话目标必须是目录

raw.*命令空间扩展属性会被保存需要两个条件,一是源和目标文件系统支持它(仅HDFS);二是所有源和目标路径名称在/.reserved/raw中是分层的。决定raw.*命令控件的扩展属性被保存是需要依赖于-p标识的。

选项:

  • -f

    该参数会覆盖掉已经存在的目标

  • -p

    该参数会保存文件的属性(timestamps, ownership, permission, ACL, XAttr)。 如果-p指定为no参数。会保存timestamps, ownership, permission. 如果指定-pa,然后也因为ACL权限超级组保留许可。 决定raw.*命令控件的扩展属性被保存是需要依赖于-p标识的。

举例:

  • 复制单个文件

    hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

  • 复制多个文件到目录

    hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

错误码:

成功:0
失败:-1

createSnapshot

请看HDFS 快照指南

deleteSnapshot

请看HDFS 快照指南

df

用法:hadoop fs -df [-h] URI [URI ...]

显示空闲空间

选项:

  • -h

    格式化为可读数据

举例:

`hadoop dfs -df /user/hadoop/dir1`

du

用法:hadoop fs -du [-s] [-h] URI [URI ...]

显示给定目录内的文件和目录所占空间大小,或者是只有一个文件情况下文件的长度。

选项:

  • -s

    该参数会把将要显示的文件长度汇总产生而不是单独显示。

  • -h

    格式化为可读数据

举例:

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1

dus

显示文件长度的概览。已经过期,由hadoop fs -du -s替代。

expunge

用法:hadoop fs -expunge

清空垃圾

更多信息参考Hadoop架构指南

选项:

  • -R

    该参数选项会递归目录进行更改

find

用法:hadoop fs -find <path> ... <expression> ...

查找符合指定表达式的所有文件,并且支持将选定的操作应用于它们。如果没有指定路径默认是当前的工作目录。如果没有指定正则表达式默认是-print

以下主要表达式已经被确认:

  • -name pattern
    -iname pattern

    如果文件基本名匹配模式使用标准的文件系统扩展名,评估为true。如果-iname被使用,匹配不区分大小写。

  • -print
    -print0Always

    当前路径名被写到标准输出时评估为真。如果-print0表达式被使用,ASCII字符NUll就会被追加在后面。

下面的操作被确认:

  • expression -a expression
    expression -and expression
    expression expression

    逻辑与运算符用于连接两个表达式。如果两个子表达式都为真返回真。隐含的两个表达式的并置,不需要显式指定。

举例:

`hadoop fs -find / -name test -print`

错误码:

成功:0
失败:-1

get

用法:hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

复制文件到本地文件系统。CRC(循环冗余码)校验失败的文件可能用-ignorecrc被复制。使用-crc,文件和CRC可能被复制。

举例:

hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

getfacl

用法: hadoop fs -getfacl [-R] <path>

显示文件或目录的ACL(访问控制列表)。如果目录有默认的ACL,也显示默认的ACL

选项:

  • -R

    该参数选项会递归显示文件的访问控制列表

  • path

    文件或目录的路径

举例:

hadoop fs -getfacl /file

hadoop fs -getfacl -R /dir

错误码:

成功:0
失败:非0

getfattr

用法: hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

显示文件或目录的扩展属性名和值

选项:

  • -R

    递归所有文件和目录的属性列表

  • -n name

    存储命名的扩展属性值

  • -d

    结合路径名存储所有的扩展属性值

  • e encoding

    检索后的编码。合法的编码是text,hex,base64。编码为text字符串的在双引号""内,编码为十六进制的和base64的前缀各为0x和0s。

  • path

    文件或目录

举例:

hadoop fs -getfattr -d /file

hadoop fs -getfattr -R -n user.myAttr /dir

错误码:

成功:0
失败:非0

getmerge

用法:hadoop fs -getmerge [-nl] <src> <localdst>

将源目录和目标目录作为输入,将在src目录的文件关联到目标本地文件。 选项-nl 可以在每个文件的最后添加新的一行。

举例:

hadoop fs -getmerge -nl /src /opt/output.txt

hadoop fs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt

错误码:

成功:0
失败:非0

help

用法:hadoop fs -help

显示该帮助文档

ls

用法:hadoop fs -ls [-d] [-h] [-R] <args>

选项:

  • -R

    递归显示所有子目录列表

  • -h

    文件大小格式化为易读数据

  • -d

    将目录作为纯文件

ls的文件返回的状态格式化为:权限,复制数量,所有者id,所在组id,文件大小,修改日期 ,修改时间,文件名称

ls的目录返回的状态格式化为:权限,所有者id,所在组id,修改日期 ,修改时间,目录名称

同一个目录中的文件默认是按照文件名称排序的。

举例:

hadoop fs -ls /user/hadoop/file1

错误码:

成功:0
失败:-1

lsr

用法:hadoop fs -lsr <args>

递归显示目录,文件及所有子目录的文件。

过期:已经被hadoop fs -ls -R代替

mkdir

用法:hadoop fs -mkdir [-p] <paths>

将url作为参数并且创建目录

选项:

  • -p

    与unix系统的mkdir -p类似,在创建目录时如果父目录不存在就会先创建父目录

举例:

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir  hdfs://nn2.example.com/user/hadoop/dir

错误码:

成功:0
失败:-1

moveFromLocal

用法:hadoop fs -moveFromLocal <localsrc> <dst>

put命令相似,除了源路径本地文件或目录在它被复制后会删除。

moveToLocal

用法:hadoop fs -moveToLocal [-crc] <src> <dst>

显示”尚未实现”信息

mv

用法:hadoop fs -mv URI [URI ...] <dest>

将文件从源位置移动到目标位置。该命令允许多个源,但目标位置必须是目录。

跨文件系统移动文件是不允许的。

举例:

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

错误码:

成功:0
失败:-1

put

用法:hadoop fs -put <localsrc> ... <dst>

将本地文件系统的一个或多个文件复制到目标文件系统。也可以从标准输入读入并写到目标文件系统

举例:

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile

##Reads the input from stdin
hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile 

错误码:

成功:0
失败:-1

renameSnapshot

请看HDFS快照指南

rm

用法:hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

删除参数中指定的文件集合

选项:

  • -R
  • -r

    递归目录及其下的所有文件和目录

  • -f

    不显示判断信息或者在文件不存在时也不提示

  • -skipTrash

    忽略垃圾,如果启用。会立即删除指定文件。在目录超出配额删除文件时会很有用。

举例:

hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

错误码:

成功:0
失败:-1

rmdir

用法:hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

删除一个目录

选项:

  • –ignore-fail-on-non-empty

    在使用通配符时,如果目录中还有文件不提示失败

举例:

hadoop fs -rmdir /user/hadoop/emptydir

rmr

用法: hadoop fs -rmr [-skipTrash] URI [URI ...]

递归删除

已经过期,被hadoop fs -rm -r替代

setfacl

用法:hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]

设置文件或者目录的访问控制列表

选项:

  • -b

    删除所有除了基本的ACL的记录。该记录保留对user,group,other权限位的兼容性。

  • -k

    删除默认的ACL

  • -R

    支持递归操作

  • -m

    修改ACL,新的记录将会被添加到ACL,并且存在的记录也会保存。

  • -x

    删除指定的ACL记录,其他的记录仍然保留。

  • –set

    完全替换ACL,丢弃所有已存在的记录。ACL的记录列表必须包含对user,group,other的权限位兼容的记录。

  • acl_spec

    逗号分隔的ACL记录列表

  • path

    要修改的文件或目录的路径

举例:

hadoop fs -setfacl -m user:hadoop:rw- /file
hadoop fs -setfacl -x user:hadoop /file
hadoop fs -setfacl -b /file
hadoop fs -setfacl -k /dir
hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
hadoop fs -setfacl -R -m user:hadoop:r-x /dir
hadoop fs -setfacl -m default:user:hadoop:r-x /dir

错误码:

成功:0
失败:非0

setfattr

用法:hadoop fs -setfattr -n name [-v value] | -x name <path>

为文件或目录设置扩展舒心的名称和值

选项:

  • -n

  • -v value

    扩展属性值。该值有三种不同的编码方法。 如果参数是双引号括起来的,那么值是双引号中的string值。 如果参数前缀是0x或0X,那么是个十六进制的数。 如果参数以0s或0S开头,那么是base64编码。

  • -x name

    移除扩展属性

  • path

    文件或目录的路径

举例:

hadoop fs -setfattr -n user.myAttr -v myValue /file
hadoop fs -setfattr -n user.noValue /file
hadoop fs -setfattr -x user.myAttr /file

错误码:

成功:0
失败:非0

setrep

用法:hadoop fs -setrep [-R] [-w] <numReplicas> <path>

改变文件的备份因子。如果目录经是一个目录,那该命令递归改变该目录树内的所有文件的备份因子。

选项:

  • -w

    在需要等待备份完成的时候设置该参数。可以设置一个非常长的时间。

  • -R

    该标识为向后兼容性。未生效。

举例:

hadoop fs -setrep -w 3 /user/hadoop/dir1

错误码:

成功:0
失败:-1

stat

用法:hadoop fs -stat [format] <path> ...

按照指定的格式显示对path路径下的文件或目录的统计。格式化参数为:%b块、%F类型、%g所有者的组名、%n名称、%o块大小、%r备份、%u所有者的用户名、%y,%Y修改时间。 %y显示UTC时间”yyyy-MM-dd HH:mm:ss”,%Y显示自UTC1970/01/01的毫秒数。如果没有指定格式参数,默认为%y

举例:

hadoop fs -stat "%F %u:%g %b %y %n" /file

错误码:

成功:0
失败:-1

tail

用法:hadoop fs -tail [-f] URI

在标准输出中显示文件最后1K字节的内容

选项:

  • -f

    当文件增加时,将追加的数据显示出来,与unix类似。

举例:

hadoop fs -tail pathname

错误码:

成功:0
失败:-1

test

用法:hadoop fs -test -[defsz] URI

在标准输出中显示文件最后1K字节的内容

选项:

  • -d

    路径是一个目录,返回0

  • -e

    路径存在,返回0

  • -f

    路径是文件,返回0

  • -s

    路径不为空,返回0

  • -z

    文件大小为0,返回0

举例:

hadoop fs -test -e filename

text

用法:hadoop fs -text <src>

需要一个源文件,并以文本格式输出文件。文件允许格式为zip和TextRecordInputStream

touchz

用法: hadoop fs -touchz URI [URI ...]

创建一个空文件

举例:

hadoop fs -touchz pathname

错误码:

成功:0
失败:-1

truncate

用法:hadoop fs -truncate [-w] <length> <paths>

截断指定文件模式指定的长度匹配的所有文件。

选项:

  • -w

    该命令等待块恢复完成。如果必要,没有-w文件可能仍会在恢复中的同时保留非关闭一段时间。 在这段时间内,文件不能被重新追加。

举例:

hadoop fs -truncate 55 /user/hadoop/file1 /user/hadoop/file2
hadoop fs -truncate -w 127 hdfs://nn1.example.com/user/hadoop/file1

usage

用法:hadoop fs -usage command

显示单个命令的帮助信息