flink 入门程序-wordcount flink 配置项介绍 在 Mac 上搭建 Flink 的开发环境 lambda 架构问题的阅读笔记 IDEA常用插件 Mybatis源码分析(1) - Mybatis关键类 Mybatis源码分析(1) - Mybatis包目录简介 tair 1:tair学习 dataflow论文阅读笔记 Polysh的安装使用 SnappyData排序函数比较 Squirrel-sql客户端连接SnappyData手册 在虚拟机里显示Hello World spark学习博客推荐 SnappyData学习博客和官网文章 Docker常用命令 MyBatis支持的OGNL语法 mysql性能优化 mysql性能优化-优化Sql语句 java各版本新特性 mac上命令行操作 explain输出格式 从文件中读取zk配置——ZooKeeper编程技能(1) git进阶经验-从项目中删除移除的目录 Mongodb 学习之shell命令操作(3) mysql命令 git进阶经验-从多模块项目中分理子模块 从零学hadoop-搭建基础(单点)的Hdfs环境 ZooKeeper集群操作脚本 Vue安装使用 2 初学JVM之问答式记住类加载机制 2 初学JVM之问答式记住虚拟机性能监控与故障处理工具 2 初学JVM之问答式记住垃圾收集器 log4j2 按天生成日志文件 1 初学JVM之问答式记住java自动内存管理 MapReduce学习心得之MapReduce初识 log4j2 日志发送到kafka配置实战 log4j2 日志配置实战 Mongodb 学习之shell命令操作(二) Mongodb 学习之linux版本安装(一) Dubbo的初级使用 ServiceLoader内部实现分析 ServiceLoader 初级应用 log4j日志发送邮件配置实战 红黑树笔记 IDEA首次使用之前的配置 java源码学习之Enum java源码学习之String 自定义Spring tag标签 编写一键发布脚本 记一次Spring Scheduler莫名不执行的一次堆栈分析 kafka的基本操作 nginx 5:Nginx内部变量 nginx 4:Nginx日志管理 提高hadoop配置效率的shell脚本 Hive编程指南之一 Hive的安装 Ambari服务器安装 Ambari服务器管理集群 HBase分布式安装 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 搭建JStorm集群 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 配置vmware中的虚拟机使用宿主机的共享网络 YARN架构简述 HDFS 架构 Spring的统一异常处理机制 Tomcat 配置服务 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 nginx 3:Nginx反向代理 mybatis操作主体流程 1.正则表达式学习-基础篇 log4j日志配置详解 mysql的时间函数 nginx 2:Nginx模块配置理论及实战 HashMap相关解析和测试文章 工作一年后的面试 用私有构造器或枚举类型强化Singleton属性 java中比较重要的图 mybatis处理枚举类 mybatis集成进spring Spring比较重要的几个截图 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 markdown在jekyll中支持的一些操作 Spring项目中配置sl4j和log4j的日志配置 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 Spring的profile机制介绍 mybatis-generator反向生成 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 (转)浅析 Decorator 模式,兼谈 CDI Decorator 注解 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 Http 协议相应状态码大全及常用状态码 IDEA快捷键 JDBC Type与Java Type redis 12:redis 操作集合 mybatis-generator错误集合 redis 11:redis 错误集合 nginx 1:nginx的安装 redis 10:redis cluster命令操作 redis 9:redis实例集群安装 java设计模式 hadoop集群学习笔记(1) Apache Shiro 简介 vim编辑神器的进阶命令 Eclipse配置 Eclipse快捷键 Linux 测试题 Linux脚本学习(1) Linux启动简要过程 Centos7上安装Mysql hadoop集群学习笔记(1) (转)分布式发布订阅消息系统 Kafka 架构设计 maven 命令 Kafka集群安装 Kafka初步使用 redis 8:redis server 和 scripting命令操作 redis 7:redis transaction 和 connection命令操作 redis 6:redis hash 命令操作 redis 5:redis sorted_set 命令操作 搭建本地Jekyll+Markdown+Github的开发环境 Spring源码阅读笔记(2) redis 4:redis set命令操作 Spring添加任务调度配置 redis 3:Redis list命令操作 redis 2:redis 一般命令操作 redis 1:redis单机安装笔记 redis 0:redis配置属性描述 Spring源码阅读笔记(1) spark 错误集锦 spark集群安装 Linux 基本命令操作 Hadoop错误信息处理 Hadoop代码拾忆 从零开始搭建spring-springmvc-mybatis-mysql和dubbo项目 java知识点札记 java排错 Google Java Style 中文版 git进阶经验 github使用经验 MongoDB用户角色授权与AUTH启用 MongoDB 命令 MongoDB 特定规范 Spring MVC实现跳转的几种方式 史上最全最强SpringMVC详细示例实战教程 Spring 零星笔记 js中(function(){…})()立即执行函数写法理解 如何解决跨域问题 创建ajax简单过程 前端定位 设置MYSQL允许通过IP访问 mybatis异常 :元素内容必须由格式正确的字符数据或标记组成 如何为 WordPress 绑定多个域名的方法s WordPress工作原理之程序文件执行顺序(传说中的架构源码分析) Spring源码导入Eclipse中 基于PHPnow搭建Eclipse开发环境 解决wordpress首页文章内容截断处理的几种方法 ZooKeeper理论知识 ZooKeeper集群安装配置 Git常用命令速查表 Linux 4:磁盘与文件系统管理 Linux 3:文件与目录管理 Linux 2:文件权限与目录配置 Markdown输入LaTeX数学公式
从零学hadoop-搭建基础(单点)的Hdfs环境 MapReduce学习心得之MapReduce初识 Ambari服务器安装 Ambari服务器管理集群 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 YARN架构简述 HDFS 架构 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 hadoop集群学习笔记(1) hadoop集群学习笔记(1) Hadoop错误信息处理 Hadoop代码拾忆

14.hadoop-2.7.2官网文档翻译-服务级别的授权指南

2016年07月15日
摘要:服务级别的授权指南。官网地址为:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html

目标

该文档描述了怎样配置和管理hadoop服务级别的授权

前提

确保安装了hadoop,配置和设置正确。更多信息请查看:

概览

服务级授权是初始授权机制来确保连接到特定的hadoop服务的客户有必要的,预配置的,有权限和授权访问的特定的服务。比如,MapReduce集群可以使用该机制允许一个配置列表的用户或组提交任务。

$HADOOP_CONF_DIR/hadoop-policy.xml配置文件用于定义各种hadoop服务的访问控制列表。

在其他访问控制检查,如文件权限检查、作业队列的访问控制等之前,对服务级授权进行。

配置

该段描述了怎样通过配置文件$HADOOP_CONF_DIR/hadoop-policy.xm配置服务级别授权。

启用服务级别授权

默认情况下,hadoop的服务级别授权是关闭了,为了开启他。需要在$HADOOP_CONF_DIR/core-site.xml中的hadoop.security.authorization属性设置为true。

hadoop服务和配置属性

下面列举了多种hadoop服务和他们的配置:

ACL(访问控制列表,access control list)

属性 服务
security.client.protocol.acl 客户端协议的ACL,用于分布式文件系统上的用户码
security.client.datanode.protocol.acl ClientDatanodeProtocol的ACL,块回复的客户端-DataNode协议
security.datanode.protocol.acl DatanodeProtocol的ACL,用于DataNode和NameNode间通信
security.inter.datanode.protocol.acl InterDatanodeProtocol的ACL,更新生成时间戳的内部DataNode协议
security.namenode.protocol.acl NamenodeProtocol的ACL,用于secondary NameNode与NameNode的通信
security.job.client.protocol.acl JobSubmissionProtocol的ACL,为了任务提交,查询任务状态等,用于客户端与ResourceManager通信
security.job.task.protocol.acl TaskUmbilicalProtocol的ACL,用于map和reduce任务与NodeManager的通信
security.refresh.policy.protocol.acl RefreshAuthorizationPolicyProtocol的ACL,用于dfsadmin与rmadmin 命令刷新安全策略生效
security.ha.service.protocol.acl HA服务协议的ACL,用于HAAdmin 管理激活的和备用的NameNode状态

访问控制列表

$HADOOP_CONF_DIR/hadoop-policy.xml定义了每个hadoop服务的访问控制列表。每个访问控制列表有一个简单的格式:

user和groups都是逗号分隔的名称列表。两个列表间以空格分隔。

比如:user1,user2 group1,group2

如果只提供一个组列表,则在该行的开头添加一个空格,相当于一个逗号分隔的用户列表后面的空格或者没有什么意味着只有一组给定用户。

指定值为*意味着所有的用户都可以访问该服务。

如果服务的访问控制列表没有定义,security.service.authorization.default.acl的值将会生效。如果security.service.authorization.default.acl没有设定,*会生效。

  • 在某些情况下会阻塞访问控制列表,需要为一个服务指定阻塞的访问控制列表。该指定的用户或组的列表将没有权限访问该服务。阻塞访问控制列表的格式与访问控制列表的格式相同。 阻塞访问控制列表可以通过$HADOOP_CONF_DIR/hadoop-policy.xml指定。属性名通过后缀”.blocked”得到。
    举例:阻塞访问控制列表的属性security.client.protocol.acl将会是security.client.protocol.acl.blocked
    对于一个服务,可能会同时指定访问控制列表和阻塞访问控制列表。如果用户在访问控制列表中同时没在阻塞访问控制列表中,就可以访问服务。
    如果服务的阻塞访问控制列表没有定义,security.service.authorization.default.acl.blocked的值会生效。如果security.service.authorization.default.acl.blocked未定义,阻塞访问控制列表就会为空。

刷新服务级别授权配置

NameNode和ResourceManager的服务级别授权配置可以在不重启任何hadoop主进程的情况下更改。 集群管理员可以更改主节点上的$HADOOP_CONF_DIR/hadoop-policy.xml并通过切换dfsadminrmadmin -refreshServiceAcl命令通知NameNode和ResourceManager加载各自的配置。

NameNode刷新服务级别授权配置:$ bin/hdfs dfsadmin -refreshServiceAcl

ResourceManager舒心服务级别授权配置:$ bin/yarn rmadmin -refreshServiceAcl

当然,也可以使用$HADOOP_CONF_DIR/hadoop-policy.xml中的security.refresh.policy.protocol.acl的属性限制访问某些用户或组刷新服务级别授权的配置。

  • 使用ip地址,host名和IP地址范围列表的对服务的访问控制可以基于客户端IP地址控制。也可以使用指定ip地址,host名和ip地址范围的机器集合限制访问服务。每个服务的属性命令来自于相应的acl名称。如果acl的属性名称是security.client.protocol.acl,host列表的属性名会是security.client.protocol.hosts
    如果一个服务的主机列表没有定义,会使用security.service.authorization.default.hosts的值,如果security.service.authorization.default.hosts值没有设置,会使用*
    指定主机的阻塞列表是可能的。 只有在主机列表的这些机器不能访问。没有再阻塞列表中的允许访问服务。属性名通过后缀.blocked获取。 举例:阻塞主机列表的属性名security.client.protocol.hosts将会是security.client.protocol.hosts.blocked
    如果一个服务的阻塞注解列表没有定义,会使用security.service.authorization.default.hosts.blocked的值,如果security.service.authorization.default.hosts.blocked的值也没有设定,阻塞主机列表为空。

例子

只允许用户’alice’和’bob’和在’mapreduce’组的用户可以将任务提交到MapReduce集群

<property>
     <name>security.job.client.protocol.acl</name>
     <value>alice,bob mapreduce</value>
</property>

只允许运行DataNode的,并属于DataNode组的用户可以与NameNode通信

<property>
     <name>security.datanode.protocol.acl</name>
     <value>datanodes</value>
</property

允许所有的用户作为DFS的客户访问HDFS集群

<property>
     <name>security.client.protocol.acl</name>
     <value>*</value>
</property>