关于VS二〇〇五远道工具的一些验证澳门美高梅手机网站

     可以见见对话框名称为”Windows CE Platform Manager
Configuration”,可选平弗罗茨瓦夫唯有一个暗中认可的Default
Device。安装的SDK并从未出现在那里。然则,那都没有关联。直接利用Default
Device就足以绵绵不绝相应的配备,也足以通过“Add Device”增添新的装备。

科雷傲利剑NoSQL种类小说 之 Hive

澳门美高梅手机网站 1

  1. Hive介绍
  2. Hive安装
  3. RHive安装
  4. RHive函数库
  5. 景逸SUVHive基本接纳操作

  6. Hive介绍


Hive是确立在Hadoop上的数据仓库基础构架。它提供了一多级的工具,可以用来开展数据提取转化加载(ETL),这是一种能够储存、查询和剖析存储在
Hadoop 中的大规模数据的编制。Hive 定义了简短的类 SQL 查询语言,称为
HQL,它同意纯熟 SQL 的用户查询数据。同时,这些语言也同意纯熟 MapReduce
开发者的支付自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer
无法已毕的纷纭的分析工作。

Hive 没有尤其的多少格式。 Hive 能够很好的行事在 Thrift
之上,控制分隔符,也同意用户钦点数量格式

上面内容摘自 百度百科(http://baike.baidu.com/view/699292.htm)

hive与关全面据库的不相同:

  • 数量存储不相同:hive基于hadoop的HDFS,关周全据库则基于本和姑件系统
  • 总结模型不一样:hive基于hadoop的mapreduce,关周全据库则基于索引的内存总结模型
  • 行使场景差异:hive是OLAP数据仓库系统提供海量数据查询的,实时性很差;关周详据库是OLTP事务系统,为实时查询工作服务
  • 增加性分歧:hive基于hadoop很简单通过分布式扩展存储能力和统计能力,关周密据库水平扩张很难,要时时刻刻增加单机的性子

     
点击”Target”——“Zoom”菜单,弹出远程截屏工具,点击齿轮图标,弹出配置连接的对话框如下图所示。

4. RHive函数库

rhive.aggregate        rhive.connect          rhive.hdfs.exists      rhive.mapapply
rhive.assign           rhive.desc.table       rhive.hdfs.get         rhive.mrapply
rhive.basic.by         rhive.drop.table       rhive.hdfs.info        rhive.napply
rhive.basic.cut        rhive.env              rhive.hdfs.ls          rhive.query
rhive.basic.cut2       rhive.exist.table      rhive.hdfs.mkdirs      rhive.reduceapply
rhive.basic.merge      rhive.export           rhive.hdfs.put         rhive.rm
rhive.basic.mode       rhive.exportAll        rhive.hdfs.rename      rhive.sapply
rhive.basic.range      rhive.hdfs.cat         rhive.hdfs.rm          rhive.save
rhive.basic.scale      rhive.hdfs.chgrp       rhive.hdfs.tail        rhive.script.export
rhive.basic.t.test     rhive.hdfs.chmod       rhive.init             rhive.script.unexport
rhive.basic.xtabs      rhive.hdfs.chown       rhive.list.tables      
rhive.size.table
rhive.big.query        rhive.hdfs.close       rhive.load             rhive.write.table
rhive.block.sample     rhive.hdfs.connect     rhive.load.table
rhive.close            rhive.hdfs.du          rhive.load.table2

Hive和大切诺基Hive的基本操作比较:

#连接到hive
Hive:  hive shell
RHive: rhive.connect("192.168.1.210")

#列出所有hive的表
Hive:  show tables;
RHive: rhive.list.tables()

#查看表结构
Hive:  desc o_account;
RHive: rhive.desc.table('o_account'), rhive.desc.table('o_account',TRUE)

#执行HQL查询
Hive:  select * from o_account;
RHive: rhive.query('select * from o_account')

#查看hdfs目录
Hive:  dfs -ls /;
RHive: rhive.hdfs.ls()

#查看hdfs文件内容
Hive:  dfs -cat /user/hive/warehouse/o_account/part-m-00000;
RHive: rhive.hdfs.cat('/user/hive/warehouse/o_account/part-m-00000')

#断开连接
Hive:  quit;
RHive: rhive.close()

     
澳门美高梅手机网站 2澳门美高梅手机网站 3

R + Hive = RHive

     
澳门美高梅手机网站 4

3. RHive安装

请提早布署好JAVA的环境:

~ java -version
java version "1.6.0_29"
Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
Java HotSpot(TM) 64-Bit Server VM (build 20.4-b02, mixed mode)

安装大切诺基:Ubuntu 12.04,请更新源再下载奥德赛2.15.3本子

~ sudo sh -c "echo deb http://mirror.bjtu.edu.cn/cran/bin/linux/ubuntu precise/ >>/etc/apt/sources.list"
~ sudo apt-get update
~ sudo apt-get install r-base-core=2.15.3-1precise0precise1

安装R依赖库:rjava

#配置rJava
~ sudo R CMD javareconf

#启动R程序
~ sudo R
install.packages("rJava")



安装RHive

install.packages("RHive")
library(RHive)
Loading required package: rJava
Loading required package: Rserve
This is RHive 0.0-7. For overview type ‘?RHive’.
HIVE_HOME=/home/conan/hadoop/hive-0.9.0
call rhive.init() because HIVE_HOME is set.

鉴于CR-VHive已经从CRAN上移除,须要起首下载安装,下载地址:https://cran.r-project.org/src/contrib/Archive/RHive/。我们须求初始下载大切诺基Hive_0.0-7.tar.gz包,然后经过命令举办安装。

# 安装RHive
~ R CMD INSTALL RHive_0.0-7.tar.gz

     
澳门美高梅手机网站 5

5. 索罗德Hive着力使用操作

#初始化
rhive.init()

#连接hive
rhive.connect("192.168.1.210")

#查看所有表
rhive.list.tables()
             tab_name
1 hive_algo_t_account
2           o_account
3         r_t_account

#查看表结构
rhive.desc.table('o_account');
     col_name data_type comment
1          id       int
2       email    string
3 create_date    string

#执行HQL查询
rhive.query("select * from o_account");
   id           email         create_date
1   1     abc@163.com 2013-04-22 12:21:39
2   2   dedac@163.com 2013-04-22 12:21:39
3   3  qq8fed@163.com 2013-04-22 12:21:39
4   4     qw1@163.com 2013-04-22 12:21:39
5   5    af3d@163.com 2013-04-22 12:21:39
6   6    ab34@163.com 2013-04-22 12:21:39
7   7  q8d1@gmail.com 2013-04-23 09:21:24
8   8 conan@gmail.com 2013-04-23 09:21:24
9   9   adeg@sohu.com 2013-04-23 09:21:24
10 10 ade121@sohu.com 2013-04-23 09:21:24
11 11  addde@sohu.com 2013-04-23 09:21:24

#关闭连接
rhive.close()
[1] TRUE

成立目前表

rhive.block.sample('o_account', subset="id<5")
[1] "rhive_sblk_1372238856"

rhive.query("select * from rhive_sblk_1372238856");
  id          email         create_date
1  1    abc@163.com 2013-04-22 12:21:39
2  2  dedac@163.com 2013-04-22 12:21:39
3  3 qq8fed@163.com 2013-04-22 12:21:39
4  4    qw1@163.com 2013-04-22 12:21:39

#查看hdfs的文件
rhive.hdfs.ls('/user/hive/warehouse/rhive_sblk_1372238856/')
  permission owner      group length      modify-time
1  rw-r--r-- conan supergroup    141 2013-06-26 17:28
                                                 file
1 /user/hive/warehouse/rhive_sblk_1372238856/000000_0

rhive.hdfs.cat('/user/hive/warehouse/rhive_sblk_1372238856/000000_0')
1abc@163.com2013-04-22 12:21:39
2dedac@163.com2013-04-22 12:21:39
3qq8fed@163.com2013-04-22 12:21:39
4qw1@163.com2013-04-22 12:21:39

按限定划分字段数据

rhive.basic.cut('o_account','id',breaks='0:100:3')
[1] "rhive_result_20130626173626"
attr(,"result:size")
[1] 443

rhive.query("select * from rhive_result_20130626173626");
             email         create_date     id
1      abc@163.com 2013-04-22 12:21:39  (0,3]
2    dedac@163.com 2013-04-22 12:21:39  (0,3]
3   qq8fed@163.com 2013-04-22 12:21:39  (0,3]
4      qw1@163.com 2013-04-22 12:21:39  (3,6]
5     af3d@163.com 2013-04-22 12:21:39  (3,6]
6     ab34@163.com 2013-04-22 12:21:39  (3,6]
7   q8d1@gmail.com 2013-04-23 09:21:24  (6,9]
8  conan@gmail.com 2013-04-23 09:21:24  (6,9]
9    adeg@sohu.com 2013-04-23 09:21:24  (6,9]
10 ade121@sohu.com 2013-04-23 09:21:24 (9,12]
11  addde@sohu.com 2013-04-23 09:21:24 (9,12]

Hive操作HDFS

#查看hdfs文件目录
rhive.hdfs.ls()
  permission owner      group length      modify-time   file
1  rwxr-xr-x conan supergroup      0 2013-04-24 01:52 /hbase
2  rwxr-xr-x conan supergroup      0 2013-06-23 10:59  /home
3  rwxr-xr-x conan supergroup      0 2013-06-26 11:18 /rhive
4  rwxr-xr-x conan supergroup      0 2013-06-23 13:27   /tmp
5  rwxr-xr-x conan supergroup      0 2013-04-24 19:28  /user

#查看hdfs文件内容
rhive.hdfs.cat('/user/hive/warehouse/o_account/part-m-00000')
1abc@163.com2013-04-22 12:21:39
2dedac@163.com2013-04-22 12:21:39
3qq8fed@163.com2013-04-22 12:21:39

      基于CoreCon的长途工具在目录C:\Program Files\CE Remote
Tools\5.01\bin下,基于Platman的远程工具在目录C:\Program Files\Common
Files\microsoft shared\Windows CE
Tools\Platman\bin\wce600下。通过相比较发现,基于CoreCon的远程工具少了”System
Information”、”Performance Monitor”、”Kernel Tracker”和”Call
Profiler”等三个零件,如下图所示。

2. Hive安装

Hive是根据Hadoop开发的数据仓库产品,所以首先我们要先有Hadoop的条件。

澳门美高梅手机网站 6

Hadoop安装,请参考:Hadoop环境搭建开创Hadoop母体虚拟机

 

Hive的安装,请参考:Hive安装及拔取攻略

Hadoop-1.0.3的下载地址
http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/

Hive-0.9.0的下载地址
http://archive.apache.org/dist/hive/hive-0.9.0/

 

Hive安装好后
澳门美高梅手机网站,启动hiveserver的服务

~ nohup hive --service hiveserver  &
Starting Hive Thrift Server

打开hive shell

~ hive shell
Logging initialized using configuration in file:/home/conan/hadoop/hive-0.9.0/conf/hive-log4j.proper             ties
Hive history file=/tmp/conan/hive_job_log_conan_201306261459_153868095.txt

#查看hive的表
hive> show tables;
hive_algo_t_account
o_account
r_t_account
Time taken: 2.12 seconds

#查看o_account表的数据
hive> select * from o_account;
1       abc@163.com     2013-04-22 12:21:39
2       dedac@163.com   2013-04-22 12:21:39
3       qq8fed@163.com  2013-04-22 12:21:39
4       qw1@163.com     2013-04-22 12:21:39
5       af3d@163.com    2013-04-22 12:21:39
6       ab34@163.com    2013-04-22 12:21:39
7       q8d1@gmail.com  2013-04-23 09:21:24
8       conan@gmail.com 2013-04-23 09:21:24
9       adeg@sohu.com   2013-04-23 09:21:24
10      ade121@sohu.com 2013-04-23 09:21:24
11      addde@sohu.com  2013-04-23 09:21:24
Time taken: 0.469 seconds

     
那两套远程工具是基于二种差距的链接层达成的,它们分别是Platman和CoreCon。”Target”菜单下的长途工具是依照Platman的。而“开头”菜单VS二〇〇六中的远程工具是基于CoreCon的。其中Platman已基本被淘汰了,只在WinCE4.2和5.0中还有照应的机件(Platform
Manager)资助。WinCE6.0中以CoreCon替代了Platman。

扶助原创:http://blog.fens.me/nosql-r-hive/

    
远程工具的拔取形式,请参考MSDN,http://msdn.microsoft.com/en-us/library/ee481586.aspx,ActiveSync和Ethernet那三种格局应该是都辅助的,从前都曾用过。其中ActiveSync的艺术用起来更便利一些,也是用的最多的一种。

     
用过VS贰零零陆的人都精晓,它提供了两套远程工具软件,二个可从VS二零零七的菜谱”Target”——”Remote
Tools”打开,而另二个在“初始”菜单——”Microsoft Visual Studio
2007”——”Visual Studio Remote
Tools”下。很早此前,在《单机搭建WinCE开发条件(续)》中对两套远程工具做了对待,当时只见到了少数表象,没有见到更深层次的东西,明日在此间做三个互补表明。

      配置连接的对话框名称为”Windows CE Connectivity Manager
Configuration”,安装的呼应的SDK在可选平台列表中也有展示。

     
以上两套远程工具若是布置好了应该都得以健康使用。而”Target”菜单下的中距离工具,必要做二个十分的操作,具体步骤请参考MSDN,http://msdn.microsoft.com/en-us/library/ee480836.aspx,否则,会弹出”Unable
to load device side components”的提示。

     打开VS二〇〇六所带的“远程放大”工具,点击齿轮按钮如下图所示。

发表评论

电子邮件地址不会被公开。 必填项已用*标注