HBase安裝

本章將介紹如何安裝HBase和初始配置。 需要用Java和Hadoop來處理HBase，所以必須下載java和Hadoop并安裝系統(tǒng)中。

安裝前設(shè)置

安裝Hadoop在Linux環(huán)境下之前，需要建立和使用Linux SSH(安全Shell)。按照下面設(shè)立Linux環(huán)境提供的步驟。

創(chuàng)建一個用戶

首先，建議從Unix創(chuàng)建一個單獨(dú)的Hadoop用戶，文件系統(tǒng)隔離Hadoop文件系統(tǒng)。按照下面給出創(chuàng)建用戶的步驟。

1. 開啟root使用命令 “su”.
2. 使用root帳戶命令創(chuàng)建用戶 “useradd username”.
3. 現(xiàn)在，可以使用命令打開一個現(xiàn)有的用戶帳戶 “su username”.

打開Linux終端，輸入以下命令來創(chuàng)建一個用戶

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH設(shè)置和密鑰生成

SSH設(shè)置需要在集群上執(zhí)行不同的操作，如啟動，停止和分布式守護(hù)shell操作。進(jìn)行身份驗(yàn)證不同的Hadoop用戶，需要一種用于Hadoop的用戶提供的公鑰/私鑰對，并用不同的用戶共享。

以下的命令被用于生成使用SSH密鑰值對。復(fù)制公鑰從id_rsa.pub為authorized_keys，并提供所有者，讀寫權(quán)限到authorized_keys文件。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

驗(yàn)證ssh

ssh localhost

安裝Java

Java是Hadoop和HBase主要先決條件。首先應(yīng)該使用"java -verion"檢查java是否存在在您的系統(tǒng)上。 java -version 命令的語法如下。

$ java -version

如果一切正常，它會得到下面的輸出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果Java還沒有安裝在系統(tǒng)中，然后按照下面給出的步驟安裝Java。

步驟 1

下載Java（JDK - X64.tar.gz），可以通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。

jdk-7u71-linux-x64.tar.gz 將被下載到系統(tǒng)。

步驟 2

一般來說，下載文件夾中包含有Java文件。驗(yàn)證它，使用下面的命令提取jdk-7u71-linux-x64.gz文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz

$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步驟 3

為了使Java提供給所有用戶，必須將它移動到“/usr/local/”。打開終端然后以root用戶身份鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步驟 4

有關(guān)設(shè)置PATH和JAVA_HOME變量，添加以下命令到?/.bashrc文件。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

現(xiàn)在從終端驗(yàn)證 java -version 命令如上述說明

下載Hadoop

安裝Java之后，接下來就是安裝Hadoop。首先使用“Hadoop version” 命令驗(yàn)證 Hadoop 是否存在，如下所示。

hadoop version

如果一切正常，它會得到下面的輸出。

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar

如果系統(tǒng)上是無法找到 Hadoop，那么證明還未安裝，現(xiàn)在下載Hadoop在您的系統(tǒng)上。按照下面給出的命令。

從Apache軟件基金會下載并使用下面的命令提取 Hadoop-2.6.0。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安裝 Hadoop

可在任何需要的方式安裝Hadoop。在這里將展示 HBase 模擬分布式模式功能，因此模擬分布式模式的Hadoop安裝。

按下面的步驟來安裝 Hadoop 2.4.1.

第1步 - 設(shè)置Hadoop

可以通過附加下面的命令在 ?/ .bashrc文件中以設(shè)置 Hadoop 環(huán)境變量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

現(xiàn)在，應(yīng)用所有更改到當(dāng)前正在運(yùn)行的系統(tǒng)。

$ source ~/.bashrc 

第2步 - Hadoop配置

找到位于 “$HADOOP_HOME/etc/hadoop” 目錄下所有的Hadoop配置文件。根據(jù)需要Hadoop將配置文件中的內(nèi)容作修改。

$ cd $HADOOP_HOME/etc/hadoop

為了使用Java開發(fā)Hadoop程序，必須用java在系統(tǒng)中的位置來替換 hadoop-env.sh文件中的 java環(huán)境變量JAVA_HOME的值。

export JAVA_HOME=/usr/local/jdk1.7.0_71

編輯以下文件來配置Hadoop。

core-site.xml

core-site.xml文件中包含，如：用于Hadoop實(shí)例的端口號，分配給文件系統(tǒng)，存儲器限制用于存儲數(shù)據(jù)存儲器和讀/寫緩沖器的大小的信息。

打開core-site.xml，并在<configuration>和</configuration>標(biāo)簽之間添加以下屬性。

<configuration>
<property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

hdfs-site.xml

hdfs-site.xml文件中包含，如：復(fù)制數(shù)據(jù)的值，NameNode的路徑，本地文件系統(tǒng)，要存儲Hadoop基礎(chǔ)架構(gòu)的Datanode路徑的信息。

dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file
system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打開這個文件，并在<configuration>和</configuration> 標(biāo)記之間添加以下屬性。

<configuration$gt;
<property$gt;
 <name$gt;dfs.replication</name $gt;
 <value$gt;1</value$gt;
 </property$gt;
 <property$gt;
 <name$gt;dfs.name.dir</name$gt;
 <value$gt;file:///home/hadoop/hadoopinfra/hdfs/namenode</value$gt;
 </property$gt;
 <property$gt;
 <name$gt;dfs.data.dir</name$gt;
 <value$gt;file:///home/hadoop/hadoopinfra/hdfs/datanode</value$gt;
 </property$gt;
</configuration$gt;

注：上面的文件，所有的屬性值是用戶定義的，可以根據(jù)自己的Hadoop的基礎(chǔ)架構(gòu)進(jìn)行更改。

yarn-site.xml

此文件用于配置成yarn在Hadoop中。打開yarn-site.xml文件，并在<configuration><configuration>標(biāo)簽之前添加以下屬性到這個文件中。

<configuration$gt;
<property$gt;
 <name$gt;yarn.nodemanager.aux-services</name$gt;
 <value$gt;mapreduce_shuffle</value$gt;
 </property$gt;
</configuration$gt;

mapred-site.xml

此文件用于指定MapReduce框架以使用。默認(rèn)情況下Hadoop包含yarn-site.xml模板。首先，它需要從mapred-site.xml復(fù)制模板到mapred-site.xml文件，使用下面的命令來。

$ cp mapred-site.xml.template mapred-site.xml

打開 mapred-site.xml 文件，并在<configuration> 和 </configuration>標(biāo)簽之間添加以下屬性。

<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

驗(yàn)證Hadoop安裝

下面的步驟是用來驗(yàn)證Hadoop的安裝。

第1步 - 名稱節(jié)點(diǎn)設(shè)置

設(shè)置名稱節(jié)點(diǎn)使用“hdfs namenode -format”命令如下

$ cd ~
$ hdfs namenode -format

預(yù)期的結(jié)果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/ 

第2步 - 驗(yàn)證Hadoop DFS

下面的命令用來啟動DFS。執(zhí)行這個命令將啟動Hadoop文件系統(tǒng)。

$ start-dfs.sh

預(yù)期的結(jié)果如下。

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
 

第3步  - 驗(yàn)證Yarn腳本

下面的命令用來啟動yarn腳本。執(zhí)行此命令將啟動yarn守護(hù)進(jìn)程。

$ start-yarn.sh

預(yù)期的結(jié)果如下。

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out 

第4步 - 訪問Hadoop上的瀏覽器

訪問Hadoop的默認(rèn)端口號為50070。使用以下網(wǎng)址，以獲取Hadoop服務(wù)在瀏覽器中。

http://localhost:50070

第5步 - 驗(yàn)證集群中的所有應(yīng)用程序

訪問群集的所有應(yīng)用程序的默認(rèn)端口號為8088。使用以下URL訪問該服務(wù)。

http://localhost:8088/

HBase安裝

單機(jī)模式，模擬分布式模式，以及全分布式模式：可以在任何的三種模式來安裝HBase。

在單機(jī)模式下安裝HBase

使用 “wget” 命令下載HBase，下載網(wǎng)址為：http://www.interiordsgn.com/apache/hbase/stable/ ，選擇最新的穩(wěn)定版本，并使用 tar “zxvf” 命令將其解壓縮。請參見下面的命令。

$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

切換到超級用戶模式，將HBase文件復(fù)制到/usr/local，如下圖所示。

$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/

在單機(jī)模式下配置HBase

在繼續(xù)HBase之前，需要編輯下列文件和配置HBase。

hbase-env.sh

為HBase設(shè)置Java目錄，并從conf文件夾打開hbase-env.sh文件。編輯JAVA_HOME環(huán)境變量，改變路徑到當(dāng)前JAVA_HOME變量，如下圖所示。

cd /usr/local/Hbase/conf
gedit hbase-env.sh

這將打開HBase的env.sh文件?，F(xiàn)在使用當(dāng)前值替換現(xiàn)有JAVA_HOME值，如下圖所示。

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

hbase-site.xml

這是HBase的主配置文件。通過在 /usr/local/HBase 打開HBase主文件夾，設(shè)置數(shù)據(jù)目錄到合適的位置。在 conf 文件夾里面有幾個文件，現(xiàn)在打開hbase-site.xml文件，如下圖所示。

#cd /usr/local/HBase/
#cd conf
# gedit hbase-site.xml

在hbase-site.xml文件里面，找到 <configuration> 和 </configuration> 標(biāo)簽。并在其中，設(shè)置屬性鍵名為“hbase.rootdir”，如下圖所示的HBase目錄。

<configuration>
//Here you have to set the path where you want HBase to store its files.
<property>
<name>hbase.rootdir</name>
<value>file:/home/hadoop/HBase/HFiles</value>
</property>
//Here you have to set the path where you want HBase to store its built
in zookeeper files.
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
</property>
</configuration>

到此 HBase 的安裝配置已成功完成?？梢酝ㄟ^使用 HBase 的 bin 文件夾中提供 start-hbase.sh 腳本啟動 HBase。為此，打開HBase 主文件夾，然后運(yùn)行 HBase 啟動腳本，如下圖所示。

$cd /usr/local/HBase/bin
$./start-hbase.sh

如果一切順利，當(dāng)運(yùn)行HBase啟動腳本，它會提示一條消息：HBase has started

starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out

在模擬分布式模式安裝HBase

現(xiàn)在，來看看如何安裝HBase在模擬分布式模式。

CONFIGURING HBASE

繼續(xù)進(jìn)行HBase之前，在本地系統(tǒng)或遠(yuǎn)程系統(tǒng)上配置Hadoop HDFS并確保它們正在運(yùn)行。如果它正在運(yùn)行則先停止HBase。

hbase-site.xml

編輯hbase-site.xml文件中添加以下屬性。

<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>

它會提到在HBase的哪種模式運(yùn)行。 從本地文件系統(tǒng)相同的文件改變hbase.rootdir，HDFS實(shí)例地址使用hdfs://// URI 語法。在本地主機(jī)的端口8030上運(yùn)行HDFS。

<property>
 <name>>hbase.rootdir</name>
 <value>hdfs://localhost:8030/hbase</value>
</property>

啟動HBase

經(jīng)過配置結(jié)束后，瀏覽到HBase的主文件夾，并使用以下命令啟動HBase。

$cd /usr/local/HBase
$bin/start-hbase.sh

注：在啟動 HBase 之前，請確保 Hadoop 運(yùn)行。

檢查在HDFS的HBase目錄

HBase創(chuàng)建其目錄在HDFS中。要查看創(chuàng)建的目錄，瀏覽到Hadoop bin并鍵入以下命令

$ ./bin/hadoop fs -ls /hbase

如果一切順利的話，它會給下面的輸出。

Found 7 items
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data
-rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs

啟動和停止主服務(wù)器

使用“local-master-backup.sh”就可以啟動多達(dá)10臺服務(wù)器。打開HBase的master主文件夾，并執(zhí)行以下命令來啟動它。

$ ./bin/local-master-backup.sh 2 4

要中止備份主服務(wù)，需要它的進(jìn)程ID，它被存儲在一個文件名為“/tmp/hbase-USER-X-master.pid”中，可以使用下面的命令中止備份主服務(wù)。

$ cat /tmp/hbase-user-1-master.pid |xargs kill -9

啟動和停止區(qū)域服務(wù)器

可以使用下面的命令來運(yùn)行在單一系統(tǒng)中的多個區(qū)域的服務(wù)器。

$ .bin/local-regionservers.sh start 2 3

要停止區(qū)域服務(wù)器，可以使用下面的命令。

$ .bin/local-regionservers.sh stop 3

啟動HBaseShell

下面給出的是啟動HBase shell的步驟。打開終端，并登錄為超級用戶。

啟動Hadoop文件系統(tǒng)

通過Hadoop主目錄下的sbin目錄文件夾瀏覽并啟動Hadoop文件系統(tǒng)，如下所示。

$cd $HADOOP_HOME/sbin
$start-all.sh

啟動HBase

通過HBase根目錄下的bin文件夾瀏覽并啟動HBase。

$cd /usr/local/HBase
$./bin/start-hbase.sh

啟動HBase主服務(wù)器

這在相同目錄。啟動它，如下圖所示：

$./bin/local-master-backup.sh start 2 (number signifies specific
server.) 

啟動區(qū)域服務(wù)

啟動區(qū)域服務(wù)器，如下所示。

$./bin/./local-regionservers.sh start 3

啟動HBase Shell

可以使用以下命令啟動HBase shell

$cd bin
$./hbase shell

這會給出HBase shell 的提示符，如下圖所示。

2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014

hbase(main):001:0>

HBase的Web界面

要訪問 HBase 的 Web界面，在瀏覽器中鍵入以下URL

http://localhost:60010

以下界面列出了當(dāng)前正在運(yùn)行的區(qū)域服務(wù)器，備份主服務(wù)以及HBase表。

HBase區(qū)域服務(wù)器和備份主服務(wù)

HBase 表

設(shè)置Java環(huán)境

也可以使用Java庫交互HBase，但訪問HBase使用Java API之前，需要設(shè)置類庫的路徑。

設(shè)置類路徑

繼續(xù)進(jìn)行之前編程，在.bashrc文件中設(shè)置類路徑到HBase庫。打開.bashrc文件編輯，如下所示。

$ gedit ~/.bashrc

為HBase庫設(shè)置類路徑（HBase的lib文件夾），如下圖所示。

上一篇：HBase讀取數(shù)據(jù)下一篇：HBase創(chuàng)建數(shù)據(jù)