单机神话里丰裕和改动传送石

[@StdModeFunc17] 

使用root的地位解压jdk到 /usr/local/jdk1.8.0_131

      tmapmove 0 327 272  表示执行地图0 前边是坐标、

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <!–<value>jdbc:derby:;databaseName=metastore_db;create=true</value>–>
 <value>jdbc:mysql://bigdata.lzf:3306/metastore?=createDatabaseIfNotExist=true&useSSL=false</value>
 <description>JDBC connect string for a
JDBCmetastore</description>
</property>
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <!–<value>org.apache.derby.jdbc.EmbeddedDriver</value>–>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a
JDBCmetastore</description>
</property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 <description>username to use against
metastoredatabase</description>
</property>
<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>Bigdata_Master21C</value>
 <description>连接my sql的用户的密码</description>
</property>
<property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>
</property>
<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>bigdata.lzf</value>
 
<description>注意,这几个是主机名称,并非有个别文书档案误导的那么,前面还亟需跟上hadoop(而是因为部分人的主机带有越发名称)</description>
</property>

注解:@StdModeFunc17 数据库调用 17

注:已经提到到众多${起头的变量,在骨子里条件请谨慎配置。

 

5.3 配置环境变量

#IF

config.propertis

你的 物品DB 添加的神话传送石  触发序号
与QFunction-0.txt中相应的@StdModeFuncX 不对应  例如小编的  比奇传送石
的触发脚本是 [@StdModeFunc17]  那本人DB中填入的触发序号就是17 下列是
小编的QFunction-0.txt 触发脚本[@StdModeFunc前边的数字正是触发序号
与DB的Anicount值 对应!!

注:
hadoop的下令,在2.8.0中援引是以hadoop开端,而不是hdfs,后者是一个向下包容的主意。

 

第六步:安装presto

#ac

修改 /etc/hosts,内容如下:

tmapmove 0 327 272 

hive –service metastore

mysql-community-server-5.7.18-1.el7.x86_64

$HADOOP_HOME/sbin/start-dfs.sh

jvm.config

第三修改/etc/my.cnf ,添加: skip-grant-tables
mysql -u root
Use mysql;
update mysql.user set authentication_string=password(‘xxxxxx’) where
user=’root’;
commit;
flush privileges;
set password=password(‘xxxxxx’);

systemctl disable firewalld    —禁止防火强开启运行

保存后,执行source  .bash_profile

修改hive-site.xml

3,.1 下载安装

https://prestodb.io/docs/current/installation/deployment.html

1.3 配置ssh 连接

6332 NameNode

4.6 配置mapred-site.xml

export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.8.0/etc/hadoop
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin

http://bigdata.lzf:8099

hive  (执行后,自然就足以推行各个hive命令)

presto必要使用metastore,所以必须安装hive,那一个从最新的法定协会图能够看到。

7508 RunJar

#若是presto只是设置一台机械上(既是coordinator又是worker),那么依照以下措施安排:
coordinator=true
node-scheduler.include-coordinator=true
#瞩目端口不要和hadoop,hive的争论,配置从前能够动用netstat观看下
#在布局从前,至少应当有一份文书档案列出机器,ip,端口等等音信,包罗路径,系统版本
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://bigdata.lzf:8080

先复制hive-default.xml -> hive-site.xml文件


终极,可以行使一些大面积命令例如:

修改/etc/selinux/config ,设定 SELINUX=disabled  –测底关闭selinux

connector.name=hive-hadoop2
hive.metastore.uri=thrift://bigdata.lzf:9083

bigdata.lzf

<property>
    <name> dfs.namenode.name.dir</name>
    <value>/home/hadoop/data_hadoop/hdfs/name</value>
    <description>namenode上囤积hdfs名字空间元数据
</description>
</property>
<property>
    <name> dfs.datanode.data.dir</name>
    <value>/home/hadoop/data_hadoop/hdfs/data</value>
   
<description>datanode上数据块的大体存款和储蓄地点</description>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
   
<description>副本个数,配置暗许是3,应低于datanode机器数量</description>
</property>
<property>
 <name>dfs.namenode.rpc-address</name>
 <value>bigdata.lzf:9001</value>
 <description>锐界PC address that handles all clients
requests。有人说须要和fs.defaultFS 一样端口</description>
</property>

<property>
  <name>hive.server2.authentication</name>
  <value>NONE</value>
  <description>
    Client authentication types.
       NONE: no authentication check
       LDAP: LDAP/AD based authentication
       KERBEROS: Kerberos/GSSAPI authentication
       CUSTOM: Custom authentication provider
               (Use with property
hive.server2.custom.authentication.class)
  </description>
</property>

mkdir -p /home/hadoop/data_presto/data

1.1 创造用户

借使没有以下列出的公文,需求把.template的复制为没有.template的文件

系统环境

4.7 配置yarn-site.xml

(表太多,只展现一部分)

 

9288 PrestoServer

解压到 /home/hadoop/presto-server-0.177

5.2 准备hdfs路径

例如

内部8042,8099足以透过浏览器查看:

注:目录叫什么无所谓,看个人喜好。

oracle jdk1.8.0_131

export
CLASSPATH=/home/hadoop/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar
export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/hadoop-2.8.0
export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1-bin/conf

  Table  

 customer
(1 row)

Query 20170602_093743_00002_pdfui, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:11 [1 rows, 25B] [0 rows/s, 2B/s]

presto:default> select * from customer;

systemctl start mysqld

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

6.2 修改各个配置

安装组件包含:

 

切换到hadoop用户。

hdfs dfs -mkdir -p /tmp/output

6992 NodeManager

解压到/home/hadoop/apache-hive-2.1.1-bin

下载presto-cli 的jar包,放在$PRESTO_HOME/bin下,不分畛域命名为presto-cli
然后实施以下命令
presto-cli –server bigdata.lzf:8080 –catalog hive –schema default
presto:default> show tables;

 

hadoop-2.8.0

 

内部存款和储蓄器:2.5
g,推荐内部存款和储蓄器4g,不然
内部存款和储蓄器太少,运营得有点慢。


 

推行jps,至少应当看到以下内容:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

各自在文书后边添加以下内容:

添加始末如下:

图片 1

 export JAVA_HOME=/usr/local/jdk1.8.0_131

<property>
    <name>hive.server2.transport.mode</name>
    <value>binary</value>
    <description>
       当为binary的时候,只是运行一千0端口,反之启用10001端口。    
    </description>
</property>
最后,把 ${system:java.io.tmpdir}
替换为/home/hadoop/data_hive/java_io_temp (必要创建实际的目录)
在替换 ${system 为${

 

6460 DataNode

 

4.10 运营并表达

cp mapred-site.xml.template  mapred-site.xml

出于设置的时候,使用的是老的装置文档,所以照旧选取hdfs。不过个人严重提议使用hadoop命令。

以此是选取root账户来设置的,并且选择rpm包安装。

出于那一个版本暗中认可已经安装了maridb,所以只可以卸载暗中同意安装的局地零件。

第三步:创立用户和布署互连网,并配备ssh连接,关闭不须求功用

   name  

 luzhifei
(1 row)

Query 20170602_093803_00003_pdfui, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:09 [1 rows, 9B] [0 rows/s, 0B/s]

 

成功!

 

第七:总结

1.耐心

2.网络上很多blog是有效的,但也有不少是一无所能的。最好是读书官方参考

3.上述是单机下的安排,不可能一体搬到生产条件

4.安装高版本的bigdata组件,提议依然用高版本的os,不然光glibc就有点麻烦

5.尽管可能,也得以团结编写翻译源码后再设置,但要命不相符于初学者。

 

第八:参考

重庆大学参考:

hadoop

http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.html

http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/Superusers.html

http://blog.csdn.net/se7en_q/article/details/47258007

hive2

http://www.2cto.com/database/201408/325554.html

http://www.tuicool.com/articles/Bbqaea

http://blog.csdn.net/login_sonata/article/details/53178613

presto

https://prestodb.io/docs/current/installation/deployment.html

 

修改.bash_profile

log.properties

7604 RunJar

然后 source .bash_profile


node.environment=prestoquery
node.id=presto-0001
node.data-dir=/home/hadoop/data_presto/data

下一场运营mysql

注:/tmp/input 并非操作系统的路子,而是二个相对路径,相对于
dfs.datanode.data.dir 的路子,但并不得以一向查看。

 

# 上面那个CLASSPATH貌似没有起到功能,可是不妨碍行使。

create database metastore;
grant all on metastore.* to  ‘root’@’%’ identified by ‘xxxxxx’;
grant all on metastore.* to  ‘root’@’localhost’  identified by
‘xxxxxx’;
grant all on metastore.* to  ‘root’@’bigdata.lzf’  identified by
‘xxxxxx’;

比如hdfs dfs -mkdir /test 在2.8.0中的写法正是


 

9870 Jps

node.properties

6.5 使用presto-cli

接下来利用telnet查看有关的端口,那里是8042,8099,9001

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://bigdata.lzf:9001</value>
 <description>HDFS的UPRADOI,文件系统://namenode标识:端口号,暗中同意是7000</description>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/data_hadoop/tmp</value>
 <description>namenode上本土的hadoop一时半刻文件夹</description>
</property>
<property>
  <name>ipc.client.connect.max.retries</name>
  <value>100</value>
  <description>暗中认可拾叁遍,未来布置9八遍</description>
</property>
<property>
  <name>ipc.client.connect.retry.interval</name>
  <value>10000</value>
  <description>连接间隔1分钟,暗中认可是0.1秒</description>
</property>
  –为了权限,例如通过beeline之类的通过拜访,必须 参考
http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/Superusers.html
  增进以下内容:
<property>
 <name>hadoop.proxyuser.hadoop.hosts</name>
 <value>*</value>
</property>
<property>
 <name>hadoop.proxyuser.hadoop.groups</name>
 <value>*</value>
</property>
#以此是告诉hadoop集群,用户hadoop和组hadoop能够自由拜访

4.8 修改slaves

hdfs dfs -lsr /tmp  –查看路径/tmp下的 ,等同于 hdfs dfs -ls -Koleos /tmp

127.0.0.1   localhost localhost.localdomain localhost4
localhost4.localdomain4
::1         localhost localhost.localdomain localhost6
localhost6.localdomain6
192.168.1.199 bigdata.lzf


apache-hive-2.1.1

然后 source .bash_profile

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

确认ssh bigdata.lzf 不需要输入任何密码

注:有的人使用dsa,这个看具体系统。

 

property.hive.log.dir =
/home/hadoop/data_hive/java_io_temp/${sys:user.name}

先启动

6.3 运行和关闭

5.4 修改各类配置文件

 [hadoop@bigdata ~]$ jps

加上以下内容

 

hive.properties (catalog目录下)

hive –service hiveserver2 
–要是是认证presto,那个能够不要,但那个是一千2端口开启的必须规范

6.4 验证

开创用户hadoop,并以/home/hadoop作为颇具组件的Home,java例外

4.5 配置hdfs-site.xml

进去目录 /home/hadoop/hadoop-2.8.0/etc/hadoop

6858 ResourceManager

hdfs dfs -ls /tmp     –查看路径/tmp


mkdir -p $PRESTO_HOME/etc/catalog

修改hive-log4j2.properties

mysql> show tables;
+—————————+
| Tables_in_metastore       |
+—————————+
| AUX_TABLE                 |
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| COMPACTION_QUEUE          |
| COMPLETED_COMPACTIONS     |
| COMPLETED_TXN_COMPONENTS  |
| DATABASE_PARAMS           |
| DBS                       |
| DB_PRIVS                  |
| DELEGATION_TOKENS         |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| HIVE_LOCKS                |
| IDXS                      |
| INDEX_PARAMS              |
| KEY_CONSTRAINTS           |
| MASTER_KEYS               |
| NEXT_COMPACTION_QUEUE_ID  |
| NEXT_LOCK_ID              |
| NEXT_TXN_ID               |

hdfs dfs -mkdir -p /warehouse
hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -chmod 773 /warehouse
hdfs dfs -chmod 773 /tmp/hive

一旦成功,请登录mysql,查看metastore 库下是不是有表,如若有正是打响了。

http://bigdata.lzf:1002

1.2 修改网络安排

$HADOOP_HOME/sbin/start-yarn.sh

<property>
  <name>hive.server2.enable.doAs</name>
  <value>true</value>
</property>

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-DHADOOP_USER_NAME=hadoop

注:无论是hive命令依然beeline都会提示不提出选拔,而是选取spark,tez之类的。

4.2 创设目录

还要能够访问8080

4.9
修改日志文件log4j.properties

6656 SecondaryNameNode

下一场退出mysql,重新登录
mysql – u root -p

$HADOOP_HOME/bin/hdfs namenode –format    –那一个执行1遍即可。

在民用台式机上使用virtualbox虚拟机

export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.8.0/etc/hadoop
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1-bin/conf
export
HCAT_LOG_DIR=/home/hadoop/apache-hive-2.1.1-bin/hcatalog/sbin/logs
export PRESTO_HOME=/home/hadoop/presto-server-0.177
export
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PRESTO_HOME/bin

5.6 验证

4.1
修改环境变量.bash_profile

5.1 下载解压

创立目录

修改 hive-env.sh

修改各种配置文件(那一个文件都亟待团结通过vi/vim成立,和hadoop差别,presto没有模板)

setenforce 0    — 关闭selinux

最后的剧情如下:

1.0 关闭不必要功效

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>bigdata.lzf:8099</value>
        <description>用于管理集群的能源,能够通过浏览器访问
</description>
</property>
<property>
        <name>yarn.nodemanager.webapp.address</name>
        <value>bigdata.lzf:8042</value>
        <description>用于管理节点,能够通过浏览器访问
</description>
</property>
</configuration>

cd $HIVE_HOME/conf

export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1-bin/conf
export
HCAT_LOG_DIR=/home/hadoop/apache-hive-2.1.1-bin/hcatalog/sbin/logs

 

出于是相比新的mysql版本,使用起来相比较费心。依照以下步骤:

 

13664 ResourceManager

13511 SecondaryNameNode

12523 DataNode

12396 NameNode

13789 NodeManager

$PRESTO_HOME/bin/launcher start  — 后台运营
$PRESTO_HOME/bin/launcher run   –日志运转
$PRESTO_HOME/bin/launcher stop  –停止

以下内容能够完全参照

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

第二步:安装jdk

<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>false</value>
   
<description>自动创制metastore,不过看起来好像么有哪些用</description>
</property>
<property>
   
<name>hive.server2.logging.operation.log.location</name>
   
<value>/home/hadoop/java_tmp/${user.name}/operation_logs</value>
    <description>操作日志路径</description>
</property>

 

注:同样能够选择rhel7.3来设置。

6.1下载和布局环境

hdfs dfs -mkdir -p /tmp/imput

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://bigdata.lzf:9083</value>
    <description>Thrift URI for the remote metastore. Used by
metastore client to connect to remote metastore.</description>
</property>

3.2 修改密码

#例行从此,能够把DEBUG设置为此外数值: DEBUG,INFO,WATiggoN,E奔驰M级ROXC60
com.facebook.presto=DEBUG

4.3 配置
hadoop-env.sh,yarn-env.sh,mapred-env.sh

hadoop fs -mkdir /test

 

3.3 创设库并授权

export
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin

os:centos -7.x86-64.everything.1611  ,内核 3.10.0-514.el7.x86_64

 

—以下多少个步骤是为设置Hive准备


也得以行使beeline

5.5 初始化

 

注:那仅仅是1个测试环境,正式环境恐怕不可能关闭防火墙和selinux

 

第五步:安装hive2

presto-server-0.177

telnet bigdata.lzf 10002 

确定保证是在/home/hadoop目下,执行以下命令

systemctl stop firewalld

第三步:安装mysql

4.4 配置 core-site.xml

 

解压hadoop包到/home/hadoop/hadoop-2.8.0

第四步:安装hadoop

mkdir  -p  /home/hadoop/hadoop/tmp
mkdir -p  /home/hadoop/hadoop/hdfs
mkdir -p  /home/hadoop/hadoop/hdfs/data
mkdir -p /home/hadoop/ hadoop/hdfs/name

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/warehouse</value>
</property>
<property>
 <name>hive.exec.scratchdir</name>
 <value>/tmp/hive</value>
</property>
<property>
 <name>hive.querylog.location</name>
   
<!–<value>${system:java.io.tmpdir}/${system:user.name}</value>–>
 <value>/log</value>
    <description>有人这里运用hdfs路径,而2.8.0的暗中认可路径是
</description>
</property>

发表评论

电子邮件地址不会被公开。 必填项已用*标注