中财网花城出版社的名著:CentOS 下 Hadoop+Hbase 安装手册
来源：百度文库 编辑：中财网 时间：2024/04/28 15:42:02
安装前必看
因为Hadoop本身的优势的将 文件的存储 和 任务处理 分布化，Hadoop分布式架构中有如下两种负责不同功能的服务器，master服务器 和 slave服务器。所以，本安装手册将从二者 的 共体到个体的说明。
安装假定
安装时假设要为2台服务 器安装Hadoop架构，那么我们假设：
1、两台服务器名称为master和slave；
2、两台服务器操作系统均为centos5.* 且版本数大于等于 5.4；
3、Master将作为master主服务器使用，slave将作为slave从服务器使用；
4、Master和slave均正常运行 且 正常联网；
5、Master和slave的wget命令均可正常使用；
6、Master和slave空间足够；
7、Master和slave均已获取root权限；
8、Master ip地址为 192.168.229.133；slave的ip地址为 192.168.229.134；
安装&配置
说明：此部分将安装master和slave共同的部分，以下操作请在master和slave上分别进行。
1、设置Hosts 和 Hostname
在Master和slave的/etc/hosts下共同增加：
192.168.229.133 master
192.168.229.134 slave
修改master的hostname文件：
vi /etc/hostname
master
修改slave的hostname文件：
vi /etc/hostname
slave
2、下载安装jdk 1.6, 并配置，命令为
wget 'http://download.oracle.com/otn-pub/java/jdk/6u26-b03/jdk-6u26-linux-i586-rpm.bin'
./jdk-6u26-linux-i586-rpm.bin
[等待jdk正常安装完成，www.oschina.net假设安装后jdk的路径为 /usr/java/jdk1.6.0-26]
ln -s /usr/java/jdk1.6.6-26 /usr/java/jdk
[配置java环境变量]
vi /etc/profile
[在文件末添加]
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
[保存退出，使设置生效]
source /etc/profile
3、安装openssh，命令为：
yum install openssh
[设置ssh无密码连接]
ssh-keygen -t rsa -P '' -f /root/.ssh/id_dsa
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
[将master的id_dsa.pub 传给slave，命名为master_id_dsa ]
[在slave 上执行操作 cat master_id_dsa.pub >> /root/.ssh/authorized_keys ]
4、下载安装 Hadoop，命令为：
wget 'http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz'
tar zxvf hadoop-0.20.2.tar.gz
cp -r hadoop-0.20.2 /opt/hadoop
[配置hadoop环境变量]
vi /etc/profile
[在文件末添加]
export HADOOP_HOME=/opt/hadoop
[配置hadoop]
cd /opt/hadoop/conf
vi hadoop-env.sh
[在末尾添加 ]
export JAVA_HOME=/usr/java/jdk
vi core-site.xml
[在
01 <property> 02 03 <name>hadoop.tmp.dirname> 04 05 <value>/home/hadoop-${user.name}value> 06 07 property> 08 09 <property> 10 11 <name>fs.default.namename> 12 13 <value>hdfs://master:9000value> 14 15 property> vi mapred-site.xml
[在
1 <property> 2 <name>mapred.job.trackername> 3 <value>master:9001value> 4 property> vi master
[将内容改为以下内容，注意：不是添加是更改]
master
vi slaves
[将内容改为以下内容，注意：不是添加是更改]
slave
5、下载安装Hbase, 命令为：
wget 'http://labs.renren.com/apache-mirror//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz'
tar zxvf hbase-0.90.3.tar.gz
cp -r hbase-0.90.3 /opt/hbase
[编辑hbase配置文件]
cd /opt/hbase/conf
vi hbase-env.sh
[在文件的末尾添加]
01 export JAVA_HOME=/usr/java/jdk 02 03 export HADOOP_CONF_DIR=/opt/hadoop/conf 04 05 export HBASE_HOME=/opt/hbase 06 07 export HBASE_LOG_DIR=/var/hadoop/hbase-logs 08 09 export HBASE_PID_DIR=/var/hadoop/hbase-pids 10 11 export HBASE_MANAGES_ZK=true 12 13 export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf vi hbase-site.xml
[在
01 <property> 02 03 <name>hbase.rootdirname> 04 05 <value>hdfs://master:9000/hbasevalue> 06 07 property> 08 09 <property> 10 11 <name>hbase.tmp.dirname> 12 13 <value>/home/hbase-${user.name}value> 14 15 property> 16 17 <property> 18 19 <name>hbase.cluster.distributedname> 20 21 <value>truevalue> 22 23 property> 24 25 <property> 26 27 <name>hbase.cluster.distributedname> 28 29 <value>truevalue> 30 31 property> 32 33 <property> 34 35 <name>hbase.zookeeper.quorumname> 36 37 <value>slavevalue> 38 39 property> 40 41 <property> 42 43 <name>hbase.zookeeper.property.dataDirname> 44 45 <value>/home/hbase-datavalue> 46 47 property> vi regionservers
[ 替换其中内容 ]
slave
rm /opt/hbase/lib/hadoop-core-0.20-*
cp /opt/hadoop/hadoop-0.20.2-core.jar ./