澳门美高梅手机网站大数目学习种类之六 —– Hadoop+Spark环境搭建

引言

在上一篇中 大数目学习序列之五 —–
Hive整合HBase图文详解

http://www.panchengming.com/2017/12/18/pancm62/
中使用Hive整合HBase,并且测试成功了。在后面的大数据学习序列之一 —–
Hadoop环境搭建(单机)
:
http://www.panchengming.com/2017/11/26/pancm55/
中打响的搭建了Hadoop的条件,本文首要讲的是Hadoop+斯Parker的环境。就算搭建的是单机版,不过改成集群版的也一定不难,那一点过后会写关于Hadoop+Spark+HBase+Hive+Zookeeper
等集群的有关注脚的。

引言

在上一篇 大数额学习种类之四 —–
Hadoop+Hive环境搭建图文详解(单机)

和之前的大数额学习种类之二 —–
HBase环境搭建(单机)

中打响搭建了Hive和HBase的环境,并拓展了对应的测试。本文紧要讲的是何等将Hive和HBase举办结合。

一、环境采纳

Hive和HBase的通讯意图

Hive与HBase整合的落到实处是应用两者本身对外的API接口相互通讯来达成的,其现实做事交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来完结,通讯原理如下图所示。
澳门美高梅手机网站 1

1,服务器选拔

地方虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

Hive整合HBase后的施用情形:

(一)通过Hive把多少加载到HBase中,数据源可以是文本也足以是Hive中的表。
(二)通过结合,让HBase接济JOIN、GROUP等SQL查询语法。
(三)通过结合,不仅可做到HBase的多少实时查询,也得以使用Hive查询HBase中的数据形成复杂的数据解析。

2,配置选取

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Scala:2.12.2 (scala-2.12.2.tgz)
Spark: 1.6 (spark-1.6.3-bin-hadoop2.4-without-hive.tgz)

一、环境采取

3,下载地址

官网地址:
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Spark:
http://spark.apache.org/downloads.html
Hive on Spark (spark集成hive的版本)
http://mirror.bit.edu.cn/apache/spark/
Scala:
http://www.scala-lang.org/download

百度云:
链接:https://pan.baidu.com/s/1geT3A8N 密码:f7jb

1,服务器选用

地面虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

二、服务器的有关配置

在布置Hadoop+斯Parker整合此前,应该先做一下布局。
做那几个陈设为了有利于,使用root权限。

2,配置选用

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

1,更改主机名

首先更改主机名,目的是为着方便管理。
翻开本机的称呼
输入:

hostname 

变更本机名称
输入:

hostnamectl set-hostname master

注:主机名称变更之后,要重启(reboot)才会卓有功用。

3,下载地址

官网地址
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
澳门美高梅手机网站,HBase:
http://mirror.bit.edu.cn/apache/hbase/

百度云盘
链接:https://pan.baidu.com/s/1jIemIDC 密码:uycu

2,主机和IP做涉嫌映射

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.219.128 master

二、服务器的相干布署

在配备Hadoop+Hive+HBase从前,应该先做一下安排。
做那一个配置为了有利于,使用root权限。

3,关闭防火墙

关门防火墙,方便外部访问。
CentOS 7版本以下输入:
闭馆防火墙

service   iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service

1,更改主机名

首先更改主机名,目标是为着方便管理。
输入:

hostname 

翻开本机的称谓
下一场改变主机名为master
输入:

hostnamectl set-hostname master

注:主机名称改变之后,要重启(reboot)才会收效。

4,时间设置

输入:

date

查阅服务器时间是或不是同样,若不雷同则变动
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

2,做IP和主机名的投射

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

三、Scala环境安排

因为斯Parker的配备着重与Scala,所以先要配置Scala。
Scala的配置

3,关闭防火墙

关门防火墙,方便访问。
CentOS 7版本以下输入:
闭馆防火墙

service   iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service

1, 文件准备

将下载好的Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

然后移动到/opt/scala 里面
再就是重命名为scala2.1
输入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.1

4,时间设置

查阅当前时光
输入:

date

翻开服务器时间是否一律,若不一致则更改
变动时间命令

date -s ‘MMDDhhmmYYYY.ss’

2,环境安顿

编辑 /etc/profile 文件
输入:

export SCALA_HOME=/opt/scala/scala2.1
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效
输入 scala -version 查看是不是安装成功

澳门美高梅手机网站 2

5,全部的条件布署

/etc/profile 的完好布局

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

澳门美高梅手机网站 3

注:具体的布局以祥和的为准,没有的决不配置。

三、斯Parker的环境布置

三、Hadoop的环境布署

Hadoop的切实可行安插在大数量学习连串之一 —–
Hadoop环境搭建(单机)

中介绍得很详细了。所以本文就大约介绍一下。
注:具体配置以温馨的为准。

1,文件准备

斯Parker有二种,下载的地点都给了,一种是纯净版的spark,一种是合二为一了hadoop以及hive的本子。本文使用的是第两种
将下载好的斯Parker文件解压
输入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

接下来移动到/opt/spark 里面,一视同仁命名
输入

mv  spark-1.6.3-bin-hadoop2.4-without-hive  /opt/spark
mv  spark-1.6.3-bin-hadoop2.4-without-hive  spark1.6-hadoop2.4-hive

澳门美高梅手机网站 4

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

布署文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,环境安插

编辑 /etc/profile 文件
输入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

澳门美高梅手机网站 5

输入:

source  /etc/profile

使配置生效

2,配置文件更改

先切换来 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3,更改配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

4.3.1 修改 spark-env.sh

在conf目录下,修改spark-env.sh文件,如若没有 spark-env.sh
该文件,就复制spark-env.sh.template文件一视同仁命名为spark-env.sh。
修改那么些新建的spark-env.sh文件,参加配置:

export SCALA_HOME=/opt/scala/scala2.1    
export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=1G 

澳门美高梅手机网站 6
注:上面的途径以协调的为准,SPARK_MASTER_IP为主机,SPARK_EXECUTOR_MEMORY为设置的周转内存。

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

五、Hadoop环境布置

Hadoop的有血有肉布署在大数据学习体系之一 —–
Hadoop环境搭建(单机)

http://www.panchengming.com/2017/11/26/pancm55
中介绍得很详细了。所以本文就大概介绍一下。
注:具体配置以友好的为准。

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配备文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

3.2.4 修改mapred-site.xml

如若没有 mapred-site.xml
该文件,就复制mapred-site.xml.template文件比量齐观命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改那些新建的mapred-site.xml文件,在节点内进入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

2,配置文件更改

先切换来 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3,Hadoop启动

启动以前要求先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换来/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启动成功后,输入jsp查看是或不是启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是还是不是能访问
能正确访问则启动成功

5.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

四、Hive的环境布署

Hive环境的切切实实配置在自家的那篇大数目学习体系之四 —–
Hadoop+Hive环境搭建图文详解(单机)

以及介绍得很详细了。本篇就差不多介绍下。

5.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为祥和的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份,天公地道命名为hive-site.xml
接下来编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

下一场将配置文件中具有的

${system:java.io.tmpdir}

改变为 /opt/hive/tmp (借使没有该文件则开创),
并将此文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
改变此前的:
澳门美高梅手机网站 7
变更之后:
澳门美高梅手机网站 8

配置图:
澳门美高梅手机网站 9

注: 由于hive-site.xml
文件中的配置过多,可以透过FTP将它下载下来进行编制。也足以一向配备自己所需的,别的的可以去除。
MySQL的连年地址中的master是主机的别名,可以换成ip。

5.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

修改 hive-env.sh

修改hive-env.sh 文件,没有就复制 hive-env.sh.template
,同等看待命名为hive-env.sh

在这些布局文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

5.2.4 修改mapred-site.xml

假定没有 mapred-site.xml
该公文,就复制mapred-site.xml.template文件比量齐观命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改那一个新建的mapred-site.xml文件,在节点内投入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

添加 数据驱动包

出于Hive 默许自带的数据库是利用mysql,所以那块就是用mysql
将mysql 的驱动包 上传到 /opt/hive/hive2.1/lib

3,Hadoop启动

注:固然已经打响布置了就毫无了
启动从前必要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换来/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启动成功后,输入jsp查看是不是启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是不是能访问
能正确访问则启动成功

五、HBase的环境布置

HBase环境的具体配置在我的那篇大数额学习种类之二 —–
HBase环境搭建(单机)

以及介绍得很详细了。本篇就差不多介绍下。

六、Spark启动

起步spark要保管hadoop已经打响启动
先是采纳jps命令查看启动的顺序
在中标启动spark之后,再使用jps命令查看
切换到Spark目录下
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/sbin

接下来启动Spark
输入:

 start-all.sh

澳门美高梅手机网站 10

下一场在浏览器输入
http://192.168.219.128:8080/

没错显示该界面,则启动成功
澳门美高梅手机网站 11

注:假诺spark成功启动,不过不能访问界面,首先检查防火墙是还是不是关闭,然后在运用jps查看进程,要是都没难题的,一般就能够访问界面。倘若如故分外,那么检查hadoop、scala、spark的布局。

那就是说本文到此停止,谢谢阅读!
倘使认为不错,可以点击一下赞或引进。

版权申明:
作者:虚无境
今日头条出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
私家博客出处:http://www.panchengming.com
原创不易,转发请标明出处,谢谢!

修改 hbase-env.sh

编制 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

证实:配置的不二法门以祥和的为准。HBASE_MANAGES_ZK=false
是不启用HBase自带的Zookeeper集群。

修改 hbase-site.xml

编辑hbase-site.xml 文件,在累加如下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

声明:hbase.rootdir:这几个目录是region server的共享目录,用来持久化Hbase
。hbase.cluster.distributed
:Hbase的运转格局。false是单机格局,true是分布式格局。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

六、Hive整合HBase的条件布署以及测试

1,环境安排

因为Hive与HBase整合的兑现是使用两者本身对外的API接口相互通讯来落成的,其具体做事交由Hive的lib目录中的hive-hbase-handler-.jar工具类来已毕。所以只要求将hive的
hive-hbase-handler-
.jar 复制到hbase/lib中就足以了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

澳门美高梅手机网站 12
注:
即使在hive整合hbase中,出现版本之类的难点,那么以hbase的版本为主,将hbase中的jar包覆盖hive的jar包。

2,hive和hbase测试

在进行测试的时候,确保hadoop、hbase、hive环境已经成功搭建好,并且都事业有成启动了。
开拓xshell的三个指令窗口
一个跻身hive,一个跻身hbase

6.2.1在hive中创设映射hbase的表

在hive中开创一个映射hbase的表,为了便利,设置两边的表名都为t_student,存储的表也是以此。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student
是hive表中的名称,第三个t_student是概念在hbase的table名称
,第七个t_student 是储存数据表的名称(“hbase.mapred.output.outputtable”
= “t_student”那些可以不要,表数据就存储在第三个表中了) 。
(id int,name string)
那个是hive表结构。假设要加进字段,就以那种格式扩大。假如要追加字段的注释,那么在字段后边添加comment
‘你要描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment
‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 那几个是指定的存储器。
hbase.columns.mapping 是概念在hbase的列族。
譬如说:st1就是列族,name就是列。在hive中创设表t_student,这么些表蕴涵多个字段(int型的id和string型的name)。
映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

表成功创办之后
在hive、hbase分别中查看表和表结构
hive中输入

show tables;
describe t_student;

hbase输入:

list
describe ‘t_student’

澳门美高梅手机网站 13

澳门美高梅手机网站 14
能够看出表已经成功的创办了

6.2.2数量同步测试

进入hbase之后
在t_student中添加两条数据 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

澳门美高梅手机网站 15

接下来切换到hive中
查询该表
输入:

select * from t_student;

澳门美高梅手机网站 16

接下来在hive中除去该表
注:因为做测试要看结果,所以将表删除了。如若同学们要做测试的话,是没有要求删除该表的,因为在末端还会选用该表。

下一场查看hive和hbase中的表是或不是删除了
输入:

drop table t_student;

澳门美高梅手机网站 17

澳门美高梅手机网站 18
透过这么些足以看出hive和hbase之间的数码成功同步!

6.2.3涉嫌查询测试

hive外部表测试

先在hbase中建一张t_student_info表,添加五个列族
下一场查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

澳门美高梅手机网站 19

然后在hive中创制外部表
证实:创设外部表要使用EXTERNAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

澳门美高梅手机网站 20

然后在t_student_info 中添加多少

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

澳门美高梅手机网站 21

接下来在hive中询问该表
输入:

select * from t_student_info;

澳门美高梅手机网站 22

查询到数量未来,然后将t_student 和t_student_info举办关联查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

澳门美高梅手机网站 23
表明:通过关系查询,可以得出表之间是可以提到查询的。不过明显看到hive
使用默许的mapreduce 作为引擎是何其的慢。。。

其他声明:
由于自己的虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的数据量,如故非常,最终不能使用公司的测试服务开展测试。
在查询一张表的时候,hive没有行使引擎,因而相对比较快,假设是拓展了涉嫌查询之类的,就会使用引擎,由于hive默许的发动机是mr,所以会很慢,也和安顿有肯定关系,hive2.x之后官方就不指出选用mr了。

本文到此停止,谢谢阅读!
版权评释:
作者:虚无境
天涯论坛出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
村办博客出处:http://www.panchengming.com
原创不易,转发请标明出处,谢谢!

发表评论

电子邮件地址不会被公开。 必填项已用*标注