实现用户CDH5.4.0接入客户端的配置环境部署

1.环境准备: centos6.6 个人电脑上的虚拟机环境（client）。

在虚拟机环境安装jdk1.7.0_79,最好和服务器版本一致（jdk安装不再累叙）。

2.hadoop客户端配置：

1） 下载hadoop-2.6.0-cdh5.4.0.tar（该版本和服务器上的版本一致）包到client机器上。

使用bigdata1账号登录虚拟机环境，把hadoop-2.6.0-cdh5.4.0.tar 放/usr/local/下

Chmod +x hadoop-2.6.0-cdh5.4.0.tar

Tar -zxvf hadoop-2.6.0-cdh5.4.0.tar ./

把解压后的文件夹名修改为hadoop

2）系统/etc/profile配置hadoop的home路径和设置hadoop的path环境变量；

3）Hadoop目录下hadoop-env.sh配置jdk路径；cd 到

修改hadoop-env.sh

4）Hadoop目录下core-site.xml配置集群namenode路径；

<property>

<name>fs.default.name</name>

<value>hdfs://134.64.14.37:8020</value>

</property>

5）Hadoop目录下mapred-site.xml配置集群jobtracker路径；

<property>

<name>mapred.job.tracker</name>

<value>134.64.14.37:8021</value>

</property>

Hadoop客户端已完成配置。

3.服务器端配置

1） 使用root帐号登录到134.14.64.37服务器添加客户端帐号

adduser bigdata1

passwd bigdata1

输入password(1)

2）建立hdfs文件系统

备注：测试环境未接入kerberos认证。

Sudo su - hdfs

$hadoop fs -mkdir -p /user/bigdata1

$hadoop fs -chown -R bigdata1:bigdata1 /user/bigdata1

3）设置磁盘配额

hdfs dfsadmin -setSpaceQuota 1G /user/bigdata1

4）sentry赋权

Sudo su - impala

$impala-shell -i dsjpt014038 -q 'create database bigdata1 location "/user/hive/warehouse/bigdata1.db";'

$impala-shell -i dsjpt014038 -q 'create role bigdata1;'

$impala-shell -i dsjpt014038 -q 'grant ALL ON database bigdata1 TO role bigdata1;'

$impala-shell -i dsjpt014038 -q 'grant role bigdata1 to group bigdata1;'

Sudo su - hdfs

$hdfs dfsadmin -setSpaceQuota 1G /user/hive/warehouse/bigdata1.db

impala-shell -i dsjpt014038 -q "grant ALL ON uri 'hdfs://134.64.14.37:8020/user/bigdata1' TO role bigdata1;"

4.客户端验证（虚拟机client）

使用bigdata1帐号登录

Hadoop fs -ls /

表示客户机可以访问hdfs。

$echo 'aaa' >> /tmp/aaa

hadop fs -mkdir -p /user/bigdat1/fanwei/

$hadoop fs -put /tmp/aaa /user/bigdata1/fanwei/

$hadoop fs -cat /user/bigdata1/fanwei/

客户机可以正常上传文件到相应的文件夹下。

客户机验证impala（虚拟机未安装impala shell，所以用的客户机134.64.14.57这台客户端）

impala-shell -i bigdata014038 -q 'use bigdata1;create table fanwei_test(aaa String);'

impala-shell -i bigdata014038 -q "use bigdata1; CREATE EXTERNAL TABLE ontime_csv f(aaa String) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/bigdata1/fanwei'; "

#show table

impala-shell -i bigdata014038 -q 'use bigdata1;show tables;'

#insert table

impala-shell -i bigdata014038 -q 'use bigdata1;insert into fanwei_test values("12345");'

#select table

impala-shell -k -i bigdata014038 -q 'use bigdata1;select * from fanwei_test;'

#drop table

impala-shell -i bigdata014038 -q 'use bigdata1;drop table fanwei_test;'

未报错，且可以插入、查询到数据，验证impala成功。

其他组件的验证类似。

5.Zookeeper的配置：

1./home/admin/zookeeper-3.4.5-cdh5.4.7/conf

添加zookeeper server 的信息如下：

maxClientCnxns=50

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/var/lib/zookeeper

clientPort=2181

server.1=bigdata012012:3181:4181

server.2=bigdata012013:3181:4181

server.3=bigdata012011:3181:4181

server.4=bigdata012020:3181:4181

server.5=bigdata012021:3181:4181

6.hbase的配置：

设置环境变量

export JAVA_HOME=/usr/java/default

export HADOOP_ROOT=/home/admin

export HADOOP_HOME=$HADOOP_ROOT/hadoop-2.6.0-cdh5.4.7

export HADOOP_MAPRED_HOME=/home/admin/hadoop-2.6.0-cdh5.4.7

export ZOOKEEPER_HOME=$HADOOP_ROOT/zookeeper-3.4.5-cdh5.4.7

export HBASE_HOME=$HADOOP_ROOT/hbase-1.0.0-cdh5.4.7

#export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export HADOOP_OPTS=-Djava.security.egd=file:///dev/urandom

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin

(备注:

export HBASE_HOME=/app/hbase-0.96.2

export PATH=$PATH:$HBASE_HOME/bin

验证生效:hbase version)

编辑hbase-env.sh：

#Java环境

export JAVA_HOME=/app/lib/jdk1.7.0_55

#通过hadoop的配置文件找到hadoop集群

export HBASE_CLASSPATH=/app/hadoop-1.1.2/conf

#使用HBASE自带的zookeeper管理集群

export HBASE_MANAGES_ZK=true

登陆到/home/admin/hbase-1.0.0-cdh5.4.7/conf 修改 hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://134.64.12.10:8020/hbase</value>

</property>

<property>

<name>hbase.client.write.buffer</name>

<value>2097152</value>

</property>

<property>

<name>hbase.client.pause</name>

<value>100</value>

</property>

<property>

<name>hbase.client.retries.number</name>

<value>35</value>

</property>

<property>

<name>hbase.client.scanner.caching</name>

<value>100</value>

</property>

<property>

<name>hbase.client.keyvalue.maxsize</name>

<value>10485760</value>

</property>

<property>

<name>hbase.regionserver.thrift.http</name>

<value>false</value>

</property>

<property>

<name>hbase.thrift.support.proxyuser</name>

<value>false</value>

</property>

<property>

<name>hbase.rpc.timeout</name>

<value>60000</value>

</property>

<property>

<name>hbase.snapshot.enabled</name>

<value>true</value>

</property>

<property>

<name>hbase.snapshot.master.timeoutMillis</name>

<value>60000</value>

</property>

<property>

<name>hbase.snapshot.region.timeout</name>

<value>60000</value>

</property>

<property>

<name>hbase.snapshot.master.timeout.millis</name>

<value>60000</value>

</property>

<property>

<name>hbase.security.authentication</name>

<value>kerberos</value>

</property>

<property>

<name>zookeeper.session.timeout</name>

<value>60000</value>

</property>

<property>

<name>zookeeper.znode.parent</name>

<value>/hbase</value>

</property>

<property>

<name>zookeeper.znode.rootserver</name>

<value>root-region-server</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>bigdata012012,bigdata012013,bigdata012011,bigdata012020,bigdata012021</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.master.kerberos.principal</name>

<value>hbase/_HOST@MYCDH</value>

</property>

<property>

<name>hbase.regionserver.kerberos.principal</name>

<value>hbase/_HOST@MYCDH</value>

</property>

<property>

<name>hbase.rest.kerberos.principal</name>

<value>hbase/_HOST@MYCDH</value>

</property>

<property>

<name>hbase.thrift.kerberos.principal</name>

<value>hbase/_HOST@MYCDH</value>

</property>

</configuration>

7. 客户端需要安装:

在集群机器（客户端）机器上安装krb5-devel、krb5-workstation

这两个安装包可以从现有集群客户端上拷贝.