Hadoop 集群安装
目标
该文档描述了怎样在几个节点到非常多的节点（上千个）上安装并配置hadoop集群。为了玩Hadoop，你可能首先想要把他安装在单一机器上。（请看单节点安装）
该文档不涉及高级论题，比如安全或者HA（高可用）
先决条件
-
安装java
-
下载稳定版的Hadoop
安装
安装Hadoop集群通常涉及到在集群所有机器上解包软件，或者通过你系统的包管理系统安装。 把硬件按照功能划分是很重要的。
通常集群中的一个机器专门被设计作为NameNode，另一个机器作为ResourceManager。 他们都是主节点，其他的服务（如：WEB应用代理服务器，MapReduce任务历史服务器）通常根据负载，运行在专用硬件或共享的基础上。
集群中剩余的机器同时作为DataNode和NodeManager，他们都是从节点。
在非安全模式下配置Hadoop
Hadoop的java配置有两种重要的配置文件驱动：
-
只读的默认配置
core-default.xml,
hdfs-default.xml,
yarn-default.xml,
mapred-default.xml -
站点指定配置
etc/hadoop/core-site.xml,
etc/hadoop/hdfs-site.xml,
etc/hadoop/yarn-site.xml,
etc/hadoop/mapred-site.xml
此外，可以控制bin/下的Hadoop脚本，通过 etc/hadoop/hadoop-env.sh和etc/hadoop/yarn-env.sh设置站点指定的值。
为了配置Hadoop集群，你会需要配置Hadoop守护进程执行的environment,就像Hadoop的守护进程的配置参数。
HDFS守护进程是NameNode，SecondaryNameNode和DataNode。
YARN守护进程是ResourceManager,NodeManager和WebAppProxy。
如果MapReduce被使用了，然后MapReduce的任务历史服务也将运行。对于大量安装，这些通常运行在单独的主机上。
配置Hadoop守护进程的环境
管理员应该使用 etc/hadoop/hadoop-env.sh,作为一个选项，etc/hadoop/mapred-env.sh和etc/hadoop/yarn-env.sh脚本用来配置站点指定的自定义的Hadoop守护进程处理环境。
至少是，你必须指定JAVA_HOME，使得他再每一个远程机器上正确的定义。
| Daemon | Environment Variable |
|---|---|
| NameNode | HADOOP_NAMENODE_OPTS |
| DataNode | HADOOP_DATANODE_OPTS |
| Secondary NameNode | HADOOP_SECONDARYNAMENODE_OPTS |
| ResourceManager | YARN_RESOURCEMANAGER_OPTS |
| NodeManager | YARN_NODEMANAGER_OPTS |
| WebAppProxy | YARN_PROXYSERVER_OPTS |
| Map Reduce Job History Server | HADOOP_JOB_HISTORYSERVER_OPTS |
举个例子：为了配置NameNode使用parallelGC,应该在hadoop-env.sh中添加上export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC"。
其他的例子请看etc/hadoop/hadoop-env.sh。
其他你可能会自定义的有用的配置参数包括：
-
HADOOP_PID_DIR ：守护进程的处理id文件存储的目录
-
HADOOP_LOG_DIR ： 守护进程的日志文件存储目录，如果不存在日志文件会自动创建。
-
HADOOP_HEAPSIZE / YARN_HEAPSIZE ： 最大可用的堆大小，单位为
MB. 比如如果该变量设置为1000，那heap将会被设置为1000MB。通过用来为守护进程配置堆大小。默认情况下，值为1000.如果你想要配置值分别为每一个守护进程使用，你可以使用它。
大多数情况下，你应该指定HADOOP_PID_DIR和HADOOP_LOG_DIR目录，他们只能被正在运行的Hadoop进程上的用户覆盖。否则就会有链接攻击的可能性。
惯例下，会在系统的shell环境中配置HADOOP_PREFIX ，比如一个简单的脚本包含在/etc/profile.d目录中：
HADOOP_PREFIX=/path/to/hadoop
export HADOOP_PREFIX
| Daemon | Environment Variable |
|---|---|
| ResourceManager | YARN_RESOURCEMANAGER_HEAPSIZE |
| NodeManager | YARN_NODEMANAGER_HEAPSIZE |
| WebAppProxy | HADOOP_DATANODE_OPTS |
| Map Reduce Job History Server | HADOOP_DATANODE_OPTS |
配置Hadoop的守护进程
这一节讨论在给定的配置文件中指定的重要参数：
- etc/hadoop/core-site.xml
| 参数 | 值 | 备注 |
|---|---|---|
| fs.defaultFS | hdfs://host:port/ | NameNode的URI |
| io.file.buffer.size | 131072 | 用于序列文件中读写缓存的大小 |
-
etc/hadoop/hdfs-site.xml
- 配置NameNode
| 参数 | 值 | 备注 |
|---|---|---|
| dfs.namenode.name.dir | 用来存储NameNode和事务持久日志的本地文件系统路径 | 如果是以逗号分隔的目录列表，那么name的表会被复制到所有的目录中，为了冗余 |
| dfs.hosts / dfs.hosts.exclude | DataNode的许可和限制列表 | 如果必要的话，用这些文件来控制可访问的DataNode的列表 |
| dfs.blocksize | 268435456 | 在大文件系统中HDFS的默认块大小为256M |
| dfs.namenode.handler.count | 100 | 更多的NameNode服务线程来处理大量的DataNode的RPC |
- 配置DataNode
| 参数 | 值 | 备注 |
|---|---|---|
| dfs.datanode.data.dir | 用逗号分隔本地文件系统的路径列表，用来存储DataNode块 | 如果是以逗号分隔的目录列表，那么数据建辉被存储在所有的目录中，这些目录通常是在不同的设备上 |
-
etc/hadoop/yarn-site.xml
- 配置ResourceManager 和NodeManager
| 参数 | 值 | 备注 |
|---|---|---|
| yarn.acl.enable | true / false | 是否开启访问控制列表(ACL),默认为关闭 |
| yarn.admin.acl | 管理员访问控制列表 | 设置管理员的访问控制列表。ACL是以逗号分离的组，组内用户以逗号分离。默认值为*，意味着任何人。Special值意味着没有人可以访问。 |
| yarn.log-aggregation-enable | false | 配置是否启用日志聚集功能 |
- 配置ResourceManager
| 参数 | 值 | 备注 | |
|---|---|---|---|
| yarn.resourcemanager.address | host:port | 集群提交作业的RM地址,如果host:port 设置了，会覆盖在yarn.resourcemanager.hostname中设置的hostname |
|
| yarn.resourcemanager.scheduler.address | host:port | AM通知调度器获取资源的地址。如果设置了，会覆盖在yarn.resourcemanager.hostname中设置的hostname |
|
| yarn.resourcemanager.resource-tracker.address | host:port | NodeManager的地址。如果设置了，会覆盖在yarn.resourcemanager.hostname中设置的hostname |
|
| yarn.resourcemanager.admin.address | host:port | 管理的命令的地址。如果设置了，会覆盖在yarn.resourcemanager.hostname中设置的hostname |
|
| yarn.resourcemanager.webapp.address | host:port | web界面的地址。如果设置了，会覆盖在yarn.resourcemanager.hostname中设置的hostname |
|
| yarn.resourcemanager.hostname | host | 单一的主机名可以设置在所有的yarn.resourcemanager*address资源中，RM组件的默认端口 |
|
| yarn.resourcemanager.scheduler.class | 调度类 | CapacityScheduler（推荐），公平调度器(推荐)，FIFO调度器 | |
| yarn.scheduler.minimum-allocation-mb | 单位为MB |
RM中每个容器需要分配的最小内存限制 | |
| yarn.scheduler.maximum-allocation-mb | 单位为MB |
RM中每个容器需要分配的最大内存限制 | |
| yarn.resourcemanager.nodes.include-path | 允许的NM列表 | 如果必要的话，用这些文件控制可访问的NodeManager的列表 | |
| yarn.resourcemanager.nodes.exclude-path | 禁止的NM列表 | 如果必要的话，用这些文件控制可访问的NodeManager的列表 |
- 配置NodeManager
| 参数 | 值 | 备注 |
|---|---|---|
| yarn.nodemanager.resource.memory-mb | 单位为MB |
给NodeManager的可用物理内存。默认NM所有可以获得的资源作为可用资源来运行容器 |
| yarn.nodemanager.vmem-pmem-ratio | 任务可以超过物理内存的虚拟内存最大使用比例 | 每个任务超过物理内存的虚拟内存使用率通过该比率限制。通过该比率限制，在NodeManager上任务使用的虚拟内存的总量可能超过他的物理内存使用量 |
| yarn.nodemanager.local-dirs | 中间数据的写入位置，本地文件系统各种以逗号分隔的路径列表 | 多路径帮助分担IO操作 |
| yarn.nodemanager.log-dirs | 日志文件在本地文件系统的位置，以逗号分隔的路径列表 | 多路径帮助分担IO操作 |
| yarn.nodemanager.log.retain-seconds | 10800 | 如果log-aggregation被关闭，默认的仅适当的在NodeManager上保留的日志时间(秒为单位)。 |
| yarn.nodemanager.remote-app-log-dir | /logs | 应用日志被移动完成的HDFS的目录，需要设置适当的限制。如果log-aggregation被开启则仅applicable |
| yarn.nodemanager.remote-app-log-dir-suffix | logs | 远程日志目录的后缀。日志将被聚合到${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}.如果log-aggregation被开启则仅applicable |
| yarn.nodemanager.aux-services | mapreduce_shuffle | Shuffle 服务需要为MapReduce应用设置 |
- 配置History 服务器(需要移到别处)
| 参数 | 值 | 备注 |
|---|---|---|
| yarn.log-aggregation.retain-seconds | -1 | 保留聚合日志的时间。-1为不生效。注意设置过小，会有NameNode的垃圾邮件 |
| yarn.log-aggregation.retain-check-interval-seconds | -1 | 检查被聚合的日志保留的时间区间。如果设置为0或负数，那么值将被计算Wie十分之一的汇总日志保留时间。之一，设置太小会有NameNode的垃圾邮件。 |
-
etc/hadoop/mapred-site.xml
- 配置MapReduce应用
| 参数 | 值 | 备注 |
|---|---|---|
| mapreduce.framework.name | yarn | 执行框架设置为Hadoop YARN |
| mapreduce.map.memory.mb | 1536 | 映射(map)的大资源限制 |
| mapreduce.map.java.opts | -Xmx1024M | 映射(map)的子JVM的大堆规模限制 |
| mapreduce.reduce.memory.mb | 3072 | 归约(reduce)的大资源限制 |
| mapreduce.reduce.java.opts | -Xmx2560M | 归约(reduce)的子JVM的大堆规模限制 |
| mapreduce.task.io.sort.mb | 512 | 数据排序效率的高内存限制 |
| mapreduce.task.io.sort.factor | 100 | 文件排序时更多的流一次合并 |
| mapreduce.reduce.shuffle.parallelcopies | 50 | reduce平行复制到从大量map中获取输出的更高的数量设置 |
- 配置MapReduce的JobHistory服务器
| 参数 | 值 | 备注 |
|---|---|---|
| mapreduce.jobhistory.address | host:port | MapReduce的JobHistory服务器地址，默认端口为10020 |
| mapreduce.jobhistory.webapp.address | host:port | MapReduce的JobHistory服务器UI地址，默认端口为19888 |
| mapreduce.jobhistory.intermediate-done-dir | /mr-history/tmp | MapReduce任务写历史文件的目录 |
| mapreduce.jobhistory.done-dir | /mr-history/done | MapReduce的JobHistory服务器管理历史文件的目录 |
监控NodeManager的健康状态
Hadoop提供了一种机制，管理员可以通过配置NodeManager定期运行管理员提供的脚本来检测节点是否健康。
通过执行任何他们在脚本中选择的检查点，管理员可以检测节点是否处于健康状态。如果脚本发现节点处于非健康状态，它会向标准输出打印一条以ERROR开头的一行记录。NodeManager定期产生脚本并且将其检出。
如上所述，如果脚本检出中包含了ERROR,该节点的状态会被报告为unhealthy ,节点将会被ResourceManager加入黑名单。该节点将不会被分配任务。然而，NodeManager会继续运行脚本，因此如果该节点又变成healthy状态，它会被自动从ResourceManager的node黑名单中移除。
节点的健康是随着脚本的输出变化的，如果它是unhealthy,可以在管理员的ResourceManager的WEB页面中获得。节点健康的时间也会显示在web界面上。
接下来的参数可以用来控制在etc/hadoop/yarn-site.xml中的节点健康状态的监控脚本。
| 参数 | 值 | 备注 |
|---|---|---|
| yarn.nodemanager.health-checker.script.path | 节点健康检测脚本路径 | 检查节点的健康状态 |
| yarn.nodemanager.health-checker.script.opts | 脚本的操作选项 | 脚本检查节点健康状态的选项 |
| yarn.nodemanager.health-checker.script.interval-ms | 间隔时间(单位：ms) | 运行健康脚本的时间间隔 |
| yarn.nodemanager.health-checker.script.timeout-ms | 脚本执行超时时间(单位：ms) | 健康脚本执行的超时时间 |
如果只是一些本地磁盘坏了，健康检查脚本不应当给出ERROR信息。NodeManager可以周期性检查本地磁盘的健康（特别是检查 nodemanager-local-dirs和nodemanager-log-dirs的指定位置），并且在达到的坏目录的数量阀值(基于在yarn.nodemanager.disk-health-checker.min-healthy-disks配置属性里设置的值)后，整个节点会被标记为unhealthy，该信息也会被发送到ResourceManager。
启动磁盘或者在启动磁盘中的故障是有健康检查脚本确定的。
从文件
文件etc/hadoop/slaves中存在所有的从节点的hostname或者ip的列表，每个一行。Helper脚本将会使用etc/hadoop/slaves文件一次性在许多主机上运行命令。该文件不用于任何基于java的Hadoop配置。为了使用该设计，运行Hadoop的用户的ssh必须被信任(即免密码登录)。
Hadoop 机架感知
许多Hadoop组件是机架感知和利用网络拓扑的性能和安全性。通过调用管理员配置模块，Hadoop的守护进程获取集群中从节点的机架信息。 可以查看Rack Awareness文档获取更多具体信息。
强烈推荐在启动HDFS之前配置机架感知能力
日志
Hadoop通过apache的通用日志框架使用log4j记录日志。
编辑etc/hadoop/log4j.properties文件自定义Hadoop守护进程的日志配置(日志格式等等)。
操作Hadoop集群
一旦所有必须的配置完成后，分发文件到所有机器的HADOOP_CONF_DIR目录。在所有机器上应该是相同的目录。
一般情况下，推荐HDFS和YARN以不同的用户身份运行。在大多数配置中，HDFS使用’hdfs’账户执行，YARN通常使用’yarn’账户执行。
Hadoop启动
为了启动Hadoop集群，你需要同时启动HDFS集群和YARN集群。
第一次使用HDFS，必须先格式化，格式化新的分布式文件系统如HDFS：
$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>
在指定作为NameNode的HDFS节点上使用如下命令启动HDFS的NameNode
$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
在指定作为DataNode的HDFS节点上使用如下命令启动HDFS的DataNode
$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
如果etc/hadoop/slaves和ssh免密码登录设置成功。所有的HDFS进程可以使用一个公用脚本启动。
$ $HADOOP_PREFIX/sbin/start-dfs.sh
在指定作为ResourceManager的YARN节点上使用如下命令启动YARN
$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
在指定作为NodeManager的YARN节点上使用如下命令运行脚本
$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
启动一个单独的WebAppProxy代理服务器。在作为WebAppProxy的YARN节点上运行如下命令，如果有多个服务器作为负载均衡，那么应该在每个机器上运行该脚本。
$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver
如果etc/hadoop/slaves和ssh免密码登录设置成功。所有的YARN进程可以使用一个公用脚本启动。
$ $HADOOP_PREFIX/sbin/start-yarn.sh
使用以下命令，在设置作为mapred的机器上启动MapReduce的JobHistory服务器
$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver
Hadoop停止
在设计为NameNode的HDFS节点上执行如下命令停止NameNode
$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
在设计为DataNode的HDFS节点上执行如下命令停止DataNode
$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode
如果etc/hadoop/slaves和ssh免密码登录设置成功。所有的HDFS进程可以使用一个公用脚本停止。
$ $HADOOP_PREFIX/sbin/stop-dfs.sh
在设计为ResourceManager的YARN节点上停止ResourceManager
$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
在设计为NodeManager的YARN节点上停止NodeManager
$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager
如果etc/hadoop/slaves和ssh免密码登录设置成功。所有的YARN进程可以使用一个公用脚本停止。
$ $HADOOP_PREFIX/sbin/stop-yarn.sh
在设计为WebAppProxy的YARN节点上停掉WebAppProxy服务器。如果由多个用于负载均衡的服务器，需要在每个机器上运行该命令
$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver
在Mapred的节点上停掉MapReduce JobHistory 服务器
$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver
WEB 接口
一旦Hadoop集群启动，运行如下描述的各组件的WEB界面
| 守护进程 | web接口 | 备注 |
|---|---|---|
| NameNode | http://nn_host:port/ | 默认端口为50070 |
| ResourceManager | http://rm_host:port/ | 默认端口为8088 |
| MapReduce JobHistory server | http://jns_host:port/ | 默认端口为19888 |