至于VS2005长距离工具的少数征

     
用了VS2005的口还清楚,它提供了片法远程工具软件,一个但起VS2005的菜单”Target”——”Remote
Tools”打开,而其余一个当“开始”菜单——”Microsoft Visual Studio
2005”——”Visual Studio Remote
Tools”下。很早以前,在《单机搭建WinCE开发环境(续)》中对片仿照远程工具做了比,当时单盼了好几表象,没有见到又怪层次的物,今天在此召开一个互补说明。

R + Hive = RHive

     
这片效仿远程工具是基于两种不同之链接层实现之,它们各自是Platman和CoreCon。”Target”菜单下之长途工具是根据Platman的。而“开始”菜单VS2005吃的长距离工具是基于CoreCon的。其中Platman已基本被裁了,只于WinCE4.2和5.0负尚时有发生相应的组件(Platform
Manager)支持。WinCE6.0中因CoreCon替代了Platman。

支持原创:http://blog.fens.me/nosql-r-hive/

      基于CoreCon的长途工具在目录C:\Program Files\CE Remote
Tools\5.01\bin下,基于Platman的长距离工具在目录C:\Program Files\Common
Files\microsoft shared\Windows CE
Tools\Platman\bin\wce600下。通过比发现,基于CoreCon的远距离工具少了”System
Information”、”Performance Monitor”、”Kernel Tracker”和”Call
Profiler”等四单零件,如下图所展示。

R利剑NoSQL系列文章 之 Hive

澳门美高梅手机网站 1

  1. Hive介绍
  2. Hive安装
  3. RHive安装
  4. RHive函数库
  5. RHive基本以操作

  6. Hive介绍


Hive是确立在Hadoop上之数据仓库基础构架。它提供了同样密密麻麻的工具,可以就此来进展数量提取转化加载(ETL),这是平等种好储存、查询与剖析存储于
Hadoop 中的常见数据的机制。Hive 定义了简约的类 SQL 查询语言,称为
HQL,它同意熟悉 SQL 的用户查询数据。同时,这个语言为允许熟悉 MapReduce
开发者的开发自定义之 mapper 和 reducer 来拍卖内建的 mapper 和 reducer
无法成功的繁杂的剖析工作。

Hive 没有特意的数量格式。 Hive 可以十分好之干活以 Thrift
之上,控制分隔符,也允许用户指定数量格式

方内容选择自 百度百科(http://baike.baidu.com/view/699292.htm)

hive与关系数据库的分:

  • 数量存储不同:hive基于hadoop的HDFS,关系数据库则冲本地文件系统
  • 计算模型不同:hive基于hadoop的mapreduce,关系数据库则基于索引的内存计算模型
  • 运用场景不同:hive是OLAP数据仓库系统提供海量数据查询的,实时性很不同;关系数据库是OLTP事务系统,为实时查询业务服务
  • 扩展性不同:hive基于hadoop很爱通过分布式增加存储能力及测算能力,关系数据库水平扩展很不便,要时时刻刻增多单机的性质

  • Hive安装


Hive是依据Hadoop开发的数据仓库产品,所以率先我们设先行有Hadoop的环境。

澳门美高梅手机网站 2

Hadoop安装,请参考:Hadoop环境搭建, 开创Hadoop母体虚拟机

 

Hive的安装,请参考:Hive安装及使用攻略

Hadoop-1.0.3的下载地址
http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/

Hive-0.9.0之下载地址
http://archive.apache.org/dist/hive/hive-0.9.0/

 

Hive安装好后
启动hiveserver的服务

~ nohup hive --service hiveserver  &
Starting Hive Thrift Server

打开hive shell

~ hive shell
Logging initialized using configuration in file:/home/conan/hadoop/hive-0.9.0/conf/hive-log4j.proper             ties
Hive history file=/tmp/conan/hive_job_log_conan_201306261459_153868095.txt

#查看hive的表
hive> show tables;
hive_algo_t_account
o_account
r_t_account
Time taken: 2.12 seconds

#查看o_account表的数据
hive> select * from o_account;
1       abc@163.com     2013-04-22 12:21:39
2       dedac@163.com   2013-04-22 12:21:39
3       qq8fed@163.com  2013-04-22 12:21:39
4       qw1@163.com     2013-04-22 12:21:39
5       af3d@163.com    2013-04-22 12:21:39
6       ab34@163.com    2013-04-22 12:21:39
7       q8d1@gmail.com  2013-04-23 09:21:24
8       conan@gmail.com 2013-04-23 09:21:24
9       adeg@sohu.com   2013-04-23 09:21:24
10      ade121@sohu.com 2013-04-23 09:21:24
11      addde@sohu.com  2013-04-23 09:21:24
Time taken: 0.469 seconds

     
澳门美高梅手机网站 3澳门美高梅手机网站 4

3. RHive安装

伸手提早部署好JAVA的环境:

~ java -version
java version "1.6.0_29"
Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
Java HotSpot(TM) 64-Bit Server VM (build 20.4-b02, mixed mode)

安装R:Ubuntu 12.04,请更新源再下载R2.15.3版

~ sudo sh -c "echo deb http://mirror.bjtu.edu.cn/cran/bin/linux/ubuntu precise/ >>/etc/apt/sources.list"
~ sudo apt-get update
~ sudo apt-get install r-base-core=2.15.3-1precise0precise1

安装R依赖库:rjava

#配置rJava
~ sudo R CMD javareconf

#启动R程序
~ sudo R
install.packages("rJava")



安装RHive

install.packages("RHive")
library(RHive)
Loading required package: rJava
Loading required package: Rserve
This is RHive 0.0-7. For overview type ‘?RHive’.
HIVE_HOME=/home/conan/hadoop/hive-0.9.0
call rhive.init() because HIVE_HOME is set.

鉴于RHive已经由CRAN上移除,需要着手下载安装,下载地址:https://cran.r-project.org/src/contrib/Archive/RHive/。我们用着手下载RHive_0.0-7.tar.gz包,然后通过命令进行安装。

# 安装RHive
~ R CMD INSTALL RHive_0.0-7.tar.gz

     
点击”Target”——“Zoom”菜单,弹出远程截屏工具,点击齿轮图标,弹出配置连接的对话框而下图所显示。

4. RHive函数库

rhive.aggregate        rhive.connect          rhive.hdfs.exists      rhive.mapapply
rhive.assign           rhive.desc.table       rhive.hdfs.get         rhive.mrapply
rhive.basic.by         rhive.drop.table       rhive.hdfs.info        rhive.napply
rhive.basic.cut        rhive.env              rhive.hdfs.ls          rhive.query
rhive.basic.cut2       rhive.exist.table      rhive.hdfs.mkdirs      rhive.reduceapply
rhive.basic.merge      rhive.export           rhive.hdfs.put         rhive.rm
rhive.basic.mode       rhive.exportAll        rhive.hdfs.rename      rhive.sapply
rhive.basic.range      rhive.hdfs.cat         rhive.hdfs.rm          rhive.save
rhive.basic.scale      rhive.hdfs.chgrp       rhive.hdfs.tail        rhive.script.export
rhive.basic.t.test     rhive.hdfs.chmod       rhive.init             rhive.script.unexport
rhive.basic.xtabs      rhive.hdfs.chown       rhive.list.tables      
rhive.size.table
rhive.big.query        rhive.hdfs.close       rhive.load             rhive.write.table
rhive.block.sample     rhive.hdfs.connect     rhive.load.table
rhive.close            rhive.hdfs.du          rhive.load.table2

Hive和RHive的基本操作对比:

#连接到hive
Hive:  hive shell
RHive: rhive.connect("192.168.1.210")

#列出所有hive的表
Hive:  show tables;
RHive: rhive.list.tables()

#查看表结构
Hive:  desc o_account;
RHive: rhive.desc.table('o_account'), rhive.desc.table('o_account',TRUE)

#执行HQL查询
Hive:  select * from o_account;
RHive: rhive.query('select * from o_account')

#查看hdfs目录
Hive:  dfs -ls /;
RHive: rhive.hdfs.ls()

#查看hdfs文件内容
Hive:  dfs -cat /user/hive/warehouse/o_account/part-m-00000;
RHive: rhive.hdfs.cat('/user/hive/warehouse/o_account/part-m-00000')

#断开连接
Hive:  quit;
RHive: rhive.close()

     
澳门美高梅手机网站 5

5. RHive着力用操作

#初始化
rhive.init()

#连接hive
rhive.connect("192.168.1.210")

#查看所有表
rhive.list.tables()
             tab_name
1 hive_algo_t_account
2           o_account
3         r_t_account

#查看表结构
rhive.desc.table('o_account');
     col_name data_type comment
1          id       int
2       email    string
3 create_date    string

#执行HQL查询
rhive.query("select * from o_account");
   id           email         create_date
1   1     abc@163.com 2013-04-22 12:21:39
2   2   dedac@163.com 2013-04-22 12:21:39
3   3  qq8fed@163.com 2013-04-22 12:21:39
4   4     qw1@163.com 2013-04-22 12:21:39
5   5    af3d@163.com 2013-04-22 12:21:39
6   6    ab34@163.com 2013-04-22 12:21:39
7   7  q8d1@gmail.com 2013-04-23 09:21:24
8   8 conan@gmail.com 2013-04-23 09:21:24
9   9   adeg@sohu.com 2013-04-23 09:21:24
10 10 ade121@sohu.com 2013-04-23 09:21:24
11 11  addde@sohu.com 2013-04-23 09:21:24

#关闭连接
rhive.close()
[1] TRUE

创建临时表

rhive.block.sample('o_account', subset="id<5")
[1] "rhive_sblk_1372238856"

rhive.query("select * from rhive_sblk_1372238856");
  id          email         create_date
1  1    abc@163.com 2013-04-22 12:21:39
2  2  dedac@163.com 2013-04-22 12:21:39
3  3 qq8fed@163.com 2013-04-22 12:21:39
4  4    qw1@163.com 2013-04-22 12:21:39

#查看hdfs的文件
rhive.hdfs.ls('/user/hive/warehouse/rhive_sblk_1372238856/')
  permission owner      group length      modify-time
1  rw-r--r-- conan supergroup    141 2013-06-26 17:28
                                                 file
1 /user/hive/warehouse/rhive_sblk_1372238856/000000_0

rhive.hdfs.cat('/user/hive/warehouse/rhive_sblk_1372238856/000000_0')
1abc@163.com2013-04-22 12:21:39
2dedac@163.com2013-04-22 12:21:39
3qq8fed@163.com2013-04-22 12:21:39
4qw1@163.com2013-04-22 12:21:39

按限定划分字段数据

rhive.basic.cut('o_account','id',breaks='0:100:3')
[1] "rhive_result_20130626173626"
attr(,"result:size")
[1] 443

rhive.query("select * from rhive_result_20130626173626");
             email         create_date     id
1      abc@163.com 2013-04-22 12:21:39  (0,3]
2    dedac@163.com 2013-04-22 12:21:39  (0,3]
3   qq8fed@163.com 2013-04-22 12:21:39  (0,3]
4      qw1@163.com 2013-04-22 12:21:39  (3,6]
5     af3d@163.com 2013-04-22 12:21:39  (3,6]
6     ab34@163.com 2013-04-22 12:21:39  (3,6]
7   q8d1@gmail.com 2013-04-23 09:21:24  (6,9]
8  conan@gmail.com 2013-04-23 09:21:24  (6,9]
9    adeg@sohu.com 2013-04-23 09:21:24  (6,9]
10 ade121@sohu.com 2013-04-23 09:21:24 (9,12]
11  addde@sohu.com 2013-04-23 09:21:24 (9,12]

Hive操作HDFS

#查看hdfs文件目录
rhive.hdfs.ls()
  permission owner      group length      modify-time   file
1  rwxr-xr-x conan supergroup      0 2013-04-24 01:52 /hbase
2  rwxr-xr-x conan supergroup      0 2013-06-23 10:59  /home
3  rwxr-xr-x conan supergroup      0 2013-06-26 11:18 /rhive
4  rwxr-xr-x conan supergroup      0 2013-06-23 13:27   /tmp
5  rwxr-xr-x conan supergroup      0 2013-04-24 19:28  /user

#查看hdfs文件内容
rhive.hdfs.cat('/user/hive/warehouse/o_account/part-m-00000')
1abc@163.com2013-04-22 12:21:39
2dedac@163.com2013-04-22 12:21:39
3qq8fed@163.com2013-04-22 12:21:39

     可以视对话框名称为”Windows CE Platform Manager
Configuration”,可选取平台受到只有来一个默认的Default
Device。安装之SDK并不曾起于这里。不过,这还没涉及。直接以Default
Device就可以连续不断相应的装置,也足以经过“Add Device”增加新的配备。

     打开VS2005所带来的“远程放大”工具,点击齿轮按钮如下图所显示。

     
澳门美高梅手机网站 6

      配置连接的对话框名称为”Windows CE Connectivity Manager
Configuration”,安装之应和的SDK在可卜平台列表中呢闹显。

     
以上两套远程工具而安排好了当都得健康下。而”Target”菜单下的远距离工具,需要做一个格外的操作,具体步骤请参见MSDN,http://msdn.microsoft.com/en-us/library/ee480836.aspx,否则,会弹出”Unable
to load device side components”的提示。

    
远程工具的运用办法,请参见MSDN,http://msdn.microsoft.com/en-us/library/ee481586.aspx,ActiveSync和Ethernet这片种办法应是都支持之,之前还已经用过。其中ActiveSync的主意因此起更有益于一些,也是因此底无限多之均等种植。

发表评论

电子邮件地址不会被公开。 必填项已用*标注