本文共 4010 字，大约阅读时间需要 13 分钟。
一、环境准备
1.说明
hadoop的下载来源有：
官方版本：
CDH版本：
企业应用一般选择CDH版本，因为比较稳定。
若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3 与 hbase-1.2.0-cdh5.9.3
2.环境准备
操作系统 : linux CentOS 6.8
jdk:1.7
cdh版本为： 5.9.3
hadoop-2.6.0-cdh5.9.3
二、服务器基本配置
1.配置主机名
（1）修改 hostname
sudo vim /etc/sysconfig/network
将HOSTNAME修改为 rayner (改成你自己的，所有的地方一致即可)
（2）映射主机 ip 与主机名
sudo vim /etc/hosts
加入以下配置：
192.168.1.102 rayner
2.关闭防火墙
关闭防火墙，这样就可以在本机 window 中访问虚拟机的所有端口了
CentOS 7版本以下输入:
service iptables stop
CentOS 7 以上的版本输入：
systemctl stop firewalld.service
3.时间设置
输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
三、Hadoop下载
1.hadoop下载地址
2.下载hadoop
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
3.解压hadoop
tar -zxvf hadoop-2.6.0.tar.gz
4.创建文件夹
sudo mkdir /ray/hadoop sudo mkdir /ray/hadoop/tmp sudo mkdir /ray/hadoop/var sudo mkdir /ray/hadoop/dfs sudo mkdir /ray/hadoop/dfs/name sudo mkdir /ray/hadoop/dfs/data
四、Hadoop环境配置
1.配置profile文件-环境变量
（1）编辑 profile 文件
sudo vim /etc/profile
（2）设置 HADOOP_HOME ，并将其添加到path中
# 1. javaexport JAVA_HOME=/usr/java/jdk1.7.0_80export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# 2. Tomcatexport CATALINA_HOME=/developer/apache-tomcat-7.0.73# 3. Mavenexport MAVEN_HOME=/developer/apache-maven-3.0.5# 4. hadoopexport HADOOP_HOME=/developer/hadoop-2.6.0#Pathexport PATH=$HADOOP_HOME/bin:$MAVEN_HOME/bin:$CATALINA_HOME/bin:$JAVA_HOME/bin:$PATHexport LC_ALL=en_US.UTF-8
（3）使配置生效
source /etc/profile
2.配置 hadoop-env.sh
(1) 进入路径：
cd /developer/hadoop-2.6.0/etc/hadoop
(2) 编辑 hadoop-env.sh
sudo vim hadoop-env.sh
(3) 配置JAVA_HOME
将${JAVA_HOME} 修改为自己的JDK路径 ，即
将
export JAVA_HOME=${JAVA_HOME} 修改为：
export JAVA_HOME=/usr/java/jdk1.7.0_80
3.配置 core-site.xml
（1）编辑 core-site.xml
sudo vim core-site.xml
（2）在 configuration 节点中 加入以下配置
注意要将value替换成自己的
hadoop.tmp.dir /ray/hadoop/tmp Abase for other temporary directories. fs.default.name hdfs://rayner:9000
4.配置 hdfs-site.xml
（1）编辑 hdfs-site.xml
sudo vim hdfs-site.xml
（2）在 configuration 节点中 加入以下配置
dfs.name.dir /ray/hadoop/dfs/name Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently. dfs.data.dir /ray/hadoop/dfs/data Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks. dfs.replication 2 dfs.permissions false need not permissions
说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，
方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。
5.配置 mapred-site.xml
如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为 mapred-site.xml。
(1) 编辑 mapred-site.xml
sudo vim mapred-site.xml
(2) 在 configuration 节点中 加入以下配置
mapred.job.tracker rayner:9001 mapred.local.dir /ray/hadoop/var mapreduce.framework.name yarn
五、hadoop 常用命令
1.格式化namenode
第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入hadoop namenode -format
这一步可能会出现异常：
Unable to determine local hostname -falling back to "localhost"java.net.UnknownHostException: rayner: rayner
解决方法参见：
2、启动hadoop
启 /developer/hadoop-2.6.0/sbin/start-all.sh停 /developer/hadoop-2.6.0/sbin/stop-all.sh
（1）进入sbin目录，执行以下命令
/developer/hadoop-2.6.0/sbin/start-all.sh
（2）使用jps命令查看启动成功效果
（2）浏览器输入： 127.0.0.1:8088/cluster 或者 192.168.1.102:8088/cluster ，会出现下图
（3）浏览器输入：127.0.0.1:50070 或者 192.168.1.102:50070
2.查看hadoop下有哪些文件
hadoop fs -ls /
六、参考资料
1.
下一篇：
转载地址：http://kkfnx.baihongyu.com/