Hadoop安装和配置及使用介绍

由于Hadoop是基于Java开发，所以首选在Linux上安装好Java环境。

1、Hadoop的下载安装

下载包到/usr/local

解压：tar -zxvf /usr/local/hadoop-3.1.2.tar.gz -C /usr/local

添加环境变量vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.1.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

执行测试：hadoop version

2、目录结构

bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

3、本地运行模式（单机模式）

3.1、官方Grep案例

创建在hadoop-2.7.2文件下面创建一个input文件夹
[root@VM_0_3_centos hadoop-3.1.2]# mkdir input
将Hadoop的xml配置文件复制到input
[root@VM_0_3_centos hadoop-3.1.2]# cp etc/hadoop/*.xml input
执行share目录下的MapReduce程序(统计符合后面正则式的词)
[root@VM_0_3_centos hadoop-3.1.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep input output 'dfs[a-z.]+'
查看输出结果
[root@VM_0_3_centos hadoop-3.1.2]# cat output/*
1	dfsadmin

3.2、官方WordCount案例 *

统计单词数

建立输入目录和文件，并且写入测试内容
[root@VM_0_3_centos hadoop-3.1.2]# mkdir wcinput
[root@VM_0_3_centos hadoop-3.1.2]# cd wcinput
[root@VM_0_3_centos wcinput]# vim wc.input
[root@VM_0_3_centos wcinput]# cat wc.input
hadoop yarn
hadoop mapreduce
huyun
huyun

执行统计程序
[root@VM_0_3_centos hadoop-3.1.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount wcinput wcoutput
查看结果
[root@VM_0_3_centos hadoop-3.1.2]# cat wcoutput/*
hadoop	2
huyun	2
mapreduce	1
yarn	1

3、伪分布式运行模式

3.1、启动HDFS并运行MapReduce程序

** 配置集群 **
配置：hadoop-env.sh

1 2	vim etc/hadoop/hadoop-env.sh 修改JAVA_HOME 路径：export JAVA_HOME=

配置：core-site.xml

[root@VM_0_3_centos hadoop-3.1.2]# vim etc/hadoop/core-site.xml

<configuration>
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.1.2/data/tmp</value>
    </property>


</configuration>

HDFS core-site.xml 参数配置

– fs.default.name
– 文件系统的名字。通常是NameNode的hostname与port
– 需要在每一个需要访问集群的机器上指定，包括集群中的节点 
– 例如：hdfs://<your_namenode>:9000/

– fs.checkpoint.dir
– 以逗号分隔的文件夹列表，SecondNameNode用来存储checkpoint image文件 
– 如果多于一个文件夹，那么都会被写入数据 
– 需要在SecondNameNode上设定
– 默认值：${hadoop.tmp.dir}/dfs/namesecondary

– hadoop.tmp.dir
– HDFS与本地磁盘的临时文件 
默认是/tmp/hadoop-${user.name}.需要在所有的节点中设定

– fs.trash.interval
– 当一个文件被删掉后，它会被放到用户目录的.Trash目录下，而不是立即删掉 
– 经过此参数设置的分钟数之后，再删掉数据 
– 默认是0，禁用此功能，建议1440（一天）

– io.file.buffer.size
– 设定在读写数据时的缓存大小，应该为硬件分页大小的2倍 
– 默认是4096，建议为65536 （ 64K） 

– hadoop.logfile.size
– hadoop.logfile.count
– 设置log文件的大小和数量

配置：hdfs-site.xml

vim etc/hadoop/hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

HDFS hdfs-site.xml 参数配置

– dfs.name.dir
– NameNode 元数据存放位置
– 默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name

– dfs.block.size
– 对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。
– 默认值：67108864

– dfs.data.dir
– DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表，DataNode循环向磁盘中写入数据，每个DataNode可单独指定与其它DataNode不一样
– 默认值：${hadoop.tmp.dir}/dfs/data

– dfs.namenode.handler.count
– NameNode用来处理来自DataNode的RPC请求的线程数量 
– 建议设置为DataNode数量的10%，一般在10~200个之间 
– 如设置太小，DataNode在传输数据的时候日志中会报告“connecton refused"信息 
– 在NameNode上设定
– 默认值：10

– dfs.datanode.handler.count
– DataNode用来连接NameNode的RPC请求的线程数量
– 取决于系统的繁忙程度 
– 设置太小会导致性能下降甚至报错
– 在DataNode上设定
– 默认值：3

– dfs.datanode.max.xcievers
– DataNode可以同时处理的数据传输连接数 
– 默认值：256
– 建议值：4096

– dfs.permissions
– 如果是true则检查权限，否则不检查（每一个人都可以存取文件） 
– 于NameNode上设定
– 默认值：true

– dfs.datanode.du.reserved
– 在每个卷上面HDFS不能使用的空间大小 
– 在每个DataNode上面设定
– 默认值：0
– 建议为10737418240，即10G。需要结合MapReduce场景设置。 

– dfs.datanode.failed.volumes.tolerated
– DataNode可以容忍损块的磁盘数量，超过这个数量DataNode将会离线，所有在这个节点上面的block将会被重新复制 
– 默认是0，但是在有多块磁盘的时候一般会增大这个值

– dfs.replication
– 在文件被写入的时候，每一块将要被复制多少份 
– 默认是3份。建议3份 
– 在客户端上设定 

通常也需要在DataNode上设定

** 启动集群 **

格式化NameNode（第一次启动时格式化）
注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。
[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs namenode -format

启动NameNode
[root@VM_0_3_centos hadoop-3.1.2]# sbin/hadoop-daemon.sh start namenode
WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

启动DataNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

查看java进程
[root@VM_0_3_centos hadoop-3.1.2]# jps
10678 Jps
10599 DataNode
10044 NameNode

新版本可以用 sbin/start-dfs.sh启动，但是报错，
    Starting namenodes on [localhost]
    ERROR: Attempting to operate on hdfs namenode as root
解决方式：
        $ vim sbin/start-dfs.sh
        $ vim sbin/stop-dfs.sh
    最前面增加以下内容
        HDFS_DATANODE_USER=root
        HADOOP_SECURE_DN_USER=hdfs
        HDFS_NAMENODE_USER=root
        HDFS_SECONDARYNAMENODE_USER=root

        $ vim sbin/start-yarn.sh
        $ vim sbin/stop-yarn.sh
    最前面增加以下内容
        YARN_RESOURCEMANAGER_USER=root
        HADOOP_SECURE_DN_USER=yarn
        YARN_NODEMANAGER_USER=root

web端查看HDFS文件系统：http://152.*****:9870/dfshealth.html#tab-overview 老版本端口是50070

查看Log日志 /usr/local/hadoop-3.1.2/logs

** 操作集群 **
在HDFS文件系统上创建一个input文件夹

1
2

[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -mkdir -p /user/root/input
2020-01-17 17:29:48,425 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

将测试文件内容上传到文件系统上

1
2

[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -put wcinput/wc.input /user/root/input/
2020-01-17 17:31:20,430 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

查看上传的文件是否正确

[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -ls  /user/root/input/
2020-01-17 17:32:25,279 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw-r--r--   1 root supergroup         43 2020-01-17 17:31 /user/root/input/wc.input

[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -cat  /user/root/ input/wc.input
2020-01-17 17:32:37,910 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
cat: `/user/root': Is a directory
hadoop yarn
hadoop mapreduce
huyun
huyun

运行MapReduce程序

1	[root@VM_0_3_centos hadoop-3.1.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/root/input/ /user/root/output

查看输出结果

[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -cat /user/root/output/*
2020-01-17 17:34:03,420 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hadoop	2
huyun	2
mapreduce	1
yarn	1

将测试文件内容下载到本地

[root@VM_0_3_centos hadoop-3.1.2]# hdfs dfs -get /user/root/output/* ./wcoutput/
2020-01-17 17:36:40,621 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
get: `./wcoutput/_SUCCESS': File exists
get: `./wcoutput/part-r-00000': File exists

本地文件存在，先删除在下载

1
2
3

[root@VM_0_3_centos hadoop-3.1.2]# rm -rf ./wcoutput/*
[root@VM_0_3_centos hadoop-3.1.2]# hdfs dfs -get /user/root/output/* ./wcoutput/
2020-01-17 17:37:20,030 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

查看本地结果

[root@VM_0_3_centos hadoop-3.1.2]# cat ./wcoutput/*
hadoop	2
huyun	2
mapreduce	1
yarn	1

删除输出结果

1	hdfs dfs -rm -r /user/root/output

3.2、启动YARN并运行MapReduce程序

配置集群
配置环境

[root@VM_0_3_centos hadoop-3.1.2]# vim etc/hadoop/yarn-env.sh 
[root@VM_0_3_centos hadoop]# vim mapred-env.sh 

export JAVA_HOME=/usr/local/java8/jdk1.8.0_144

配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>VM_0_3_centos</value>
</property>

配置：mapred-site.xml

[root@VM_0_3_centos hadoop]# vim mapred-site.xml 

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.2</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.2</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.2</value>
</property>

<property> 
    <name>mapreduce.application.classpath</name>
    <value>/usr/local/hadoop-3.1.2/share/hadoop/mapreduce/*,/usr/local/hadoop-3.1.2/share/hadoop/mapreduce/lib/*</value>
</property>

启动集群
启动前必须保证NameNode和DataNode已经启动

[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh start resourcemanager
WARNING: Use of this script to start YARN daemons is deprecated.
WARNING: Attempting to execute replacement "yarn --daemon start" instead.

[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh start nodemanager
WARNING: Use of this script to start YARN daemons is deprecated.
WARNING: Attempting to execute replacement "yarn --daemon start" instead.

[root@VM_0_3_centos hadoop-3.1.2]# jps
21680 DataNode
13315 ResourceManager
13831 Jps
13706 NodeManager
21482 NameNode

集群操作
YARN的浏览器查看：http://152.....56:8088/cluster

20200423162313

删除文件系统上的output文件

1	[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -rm -R /user/root/output

执行MapReduce程序

1	bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/root/input/ /user/root/output

查看运行结果可以通过浏览器查看。

1
2

3.3、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

配置mapred-site.xml

vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>VM_0_3_centos:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>VM_0_3_centos:19888</value>
</property>

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

查看JobHistory

http://IP:19888/jobhistory

3.4、配置日志的聚集

应用运行完成以后，将程序运行日志信息上传到HDFS系统上。方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

配置yarn-site.xml

[atguigu@hadoop101 hadoop]$ vi yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

重启NodeManager 、ResourceManager和HistoryManager

[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh stop resourcemanager
[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh stop nodemanager
[root@VM_0_3_centos hadoop-3.1.2]# sbin/mr-jobhistory-daemon.sh stop historyserver

[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh start resourcemanager
[root@VM_0_3_centos hadoop-3.1.2]# sbin/yarn-daemon.sh start nodemanager
[root@VM_0_3_centos hadoop-3.1.2]# sbin/mr-jobhistory-daemon.sh start historyserver

删除HDFS上已经存在的输出文件

1	[root@VM_0_3_centos hadoop-3.1.2]# bin/hdfs dfs -rm -R /user/root/output

执行WordCount程序

1	[root@VM_0_3_centos hadoop-3.1.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/root/input /user/root/output

查看日志