澳门美高梅手机网站雅数据上系列的七 —– Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

二 为什么而搬


MySQL 迁移是 DBA
日常保护着的一个干活。搬迁,究其本义,无非是把实际存在的体挪走,保证该物体的完整性和延续性。不畏像柔软的沙滩上,两个童心未泯的小孩子,把同堆沙子挪为另外地方,铸就内心向往的坞。

生育环境遭受,有以下情形要开动迁工作,如下:

  • 磁盘空间不够。按部就班部分尽色,选用的机型并不一定适用于数据库。随着时光之推移,硬盘很有或出现短缺;
  • 事务出现瓶颈。依项目受到采用单机承担所有的诵读写作业,业务压力增大,不堪重负。如果
    IO 压力在可领之限定,会下读写分离方案;
  • 机出现瓶颈。机器出现瓶颈主要在磁盘 IO
    能力、内存、CPU,此时除了针对瓶颈做片优化以外,选择迁移是无可非议的方案;
  • 项目改造。少数品种之数据库是跨机房的景况,可能会见于不同机房中追加节点,或者把机器从一个机房迁移到其它一个机房。再遵照,不同工作并用同一台服务器,为了解决服务器压力和方便维护,也会召开动迁。

同句话,迁移工作是不得已而为之。实施迁移工作,目的是吃事情稳定持续地运作。

4.1.1 文件准备

以下充斥好之Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

下一场倒到/opt/scala 里面
并且还命名也scala2.1
输入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.12

4.1 场景一 一主一打构造迁移从仓库

本从善到难之思路,我们从简单的构造入手。A
项目,原本是同样兆一自布局。101 是主节点,102 是起节点。因工作需,把 102
从节点迁移至 103,架构图如图一律。102 从节点的数目容量过很,不能够应用
mysqldump 的样式备份。和研发沟通后,形成一致的方案。

澳门美高梅手机网站 1
图一律 一兆一由结构迁移从库架构图

具体做法是如此:

  • 研发用 102 的读业务切到主库;
  • 确认 102 MySQL 状态(主要看 PROCESS
    LIST),观察机器流量,确认无误后,停止 102 从节点的劳动;
  • 103 新建 MySQL 实例,建成后,停止 MySQL 服务,并且用整个数据目录
    mv 到其他地方召开备份;
  • 用 102 的整套 mysql 数据目录使用 rsync 拷贝到 103;
  • 拷贝的而,在 101 授权,使 103 有拉取 binlog 的权位(REPLICATION
    SLAVE, REPLICATION CLIENT);
  • 急需拷贝就,修改 103 配置文件被之 server_id,注意不要和 102
    上之同一;
  • 于 103 启动 MySQL
    实例,注意安排文件被之数据文件路径和数据目录的权柄;
  • 进去 103 MySQL 实例,使用 SHOW SLAVE STATUS 检查从库状态,可以看来
    Seconds_Behind_Master 在递减;
  • Seconds_Behind_Master 变为 0 后,表示并到位,此时得为此
    pt-table-checksum 检查 101 和 103
    的数码一致,但正如耗时,而且针对主节点出影响,可以与开同开展多少一致性的验证;
  • 与研发沟通,除了做多少一致性验证他,还用验证账号权限,以防业务迁回后访问出错;
  • 做得了上述手续,可以和研发协调,把 101 的一些读业务切到
    103,观察业务状态;
  • 假定事情并未问题,证明迁移成功。

次、Hadoop的条件搭建

事先说明,这些配置好于平等宝机械上部署,然后复制到其它机器及就执行了。复制之后注意要这些部署文件生效。

七 总结


本文自胡而搬迁讲起,接下去说话了迁移方案,然后讲解了不同状况下之动迁实战,最后为有了注意事项以及实战技能。归纳起来,也尽管以下几点:

率先,迁移的目的是吃事情稳定持续地运作;
次,迁移的为主是怎延续主从同步,我们需要在不同服务器和见仁见智工作之间找到方案;
老三,业务切换需考虑不同 MySQL
服务器之间的权问题;需要考虑不同机器读写分离的逐一和主从关系;需要考虑跨机房调用对业务的震慑。

读者以推行迁移的进程被,可以参见此文提供的思绪。但如何保证每个操作不易无误地运转,还索要三思而后行。

 

原文:http://dbarobin.com/2015/09/15/migration-of-mysql-on-different-scenes/\#section-1

3,下载地址

合法地址:
Hadoop:
http://www.apache.org/dyn/closer.cgi/hadoop/common

Spark:
http://spark.apache.org/downloads.html

Spark Sql on Hive
http://mirror.bit.edu.cn/apache/spark

Scala:
http://www.scala-lang.org/download

JDK:
http://www.oracle.com/technetwork/java/javase/downloads

HBase
http://mirror.bit.edu.cn/apache/hbase/

Zookeeper
http://mirror.bit.edu.cn/apache/zookeeper/

Hive
http://mirror.bit.edu.cn/apache/hive/

百度云:
链接:https://pan.baidu.com/s/1kUYfDaf 密码:o1ov

4.2 场景二 一预告一由组织迁移指定库

咱俩了解相同预示一由单独迁移从仓库怎么开下,接下去看看哪些同时迁移主从节点。因不同工作而做客同一服务器,导致单个库压力过大,还艰难管理。于是,打算用主节点
101 和于节点 102 同时迁移到新的机 103 和 104,103 充当主节点,104
充当起节点,架构图如图二。此次迁移只待迁移指定库,这些库容量不是不过特别,并且可保证数据不是实时的。

澳门美高梅手机网站 2
图二 一预示一起构造迁移指定库架构图

切实的做法如下:

  • 103 和 104 新建实例,搭建主从关系,此时之主节点和自节点处空载;
  • 102
    导出多少,正确的做法是部署定时任务,在事情低峰做导出操作,此处选择的凡
    mysqldump;
  • 102 收集指定库需要的账号和权限;
  • 102 导出数了,使用 rsync 传输至 103,必要常常开缩减操作;
  • 103 导入数据,此时数据会自动同步到 104,监控服务器状态和 MySQL
    状态;
  • 103 导入好,104 同步完成,103 根据 102
    收集的账号授权,完成后,通知研发检查数据以及账户权限;
  • 上述成功后,可研发协作,将 101 和 102 的业务迁移到 103 和
    104,观察业务状态;
  • 倘工作没有问题,证明迁移成功。
3.2.3.1 修改 core-site.xml

hadoop的存路径可以自行转移。开始自己看这些文件夹需要手动创建,后来履行了,如果未手动创建,会活动创建的,所以就算错过丢了手动创建目录的手续。
输入:

vim core-site.xml

<configuration>节点内参加配置:

 <configuration>
<property>
    <name>hadoop.temp.dir</name>
    <value>file:/root/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
<!-- eclipse连接hive 的配置-->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
</configuration>

澳门美高梅手机网站 3

说明: fs.defaultFS 是缺省文件的称, 最早以的凡
fs.default.name,后来当风行官方文档中翻及该方法就废弃用了。于是边转移成为是了。ps:感觉啊绝非啥区别。

六 技巧


在 MySQL 迁移实战中,有如下技术可采取:

  • 其他迁移 LOG FILE 以 relay_master_log_file(正在同 master 上之
    binlog 日志名)为仍,LOG POS 以 exec_master_log_pos(正在同当前
    binlog 日志的 POS 点)为依照;
  • 以 rsync 拷贝数据,可以做 expect、nohup 使用,绝对是上佳组合;
  • 在动 innobackupex 备份数据的又可以利用 gzip 进行削减;
  • 每当应用 innobackupex 备份数据,可以加上 –slave-info
    参数,方便做从库;
  • 每当动用 innobackupex 备份数据,可以加上 –throttle 参数,限制
    IO,减少针对工作的影响。还好长 –parallel=n
    参数,加快备份,但用专注的凡,使用 tar 流压缩,–parallel
    参数无效;
  • 举行多少的备份与还原,可以拿用办事项列个清单,画个流程,然后拿需要执行之下令提前准备好;
  • 本地快速拷贝文件夹,有只是的点子,使用 rsync,加上如下参数:-avhW
    –no-compress –progress;
  • 不等分区之间很快拷贝数据,可以利用
    dd。或者用一个又依赖谱的计,备份到硬盘,然后搭服务器上。异地还有再绝之,直接快递硬盘。

2,Spark配置

4.5 场景五 双预告结构跨机房迁移

属下去省双主结构跨机房迁移怎么开。某型由容灾考虑,使用了跨机房,采用了对预告结构,双边均可以描绘。因为磁盘空间问题,需要针对
A 地的机械进行轮换。打算以主节点 1.101 和从节点 1.102 同时迁移至新的机器
1.103 和 1.104,1.103 充当主节点,1.104 充当起节点。B 地的 2.101 和
2.102 保持无移,但搬迁完成后,1.103 和 2.101
互为双主。架构图如图五。因为是双主结构,两限又写,如果要替换主节点,单方必须来节点停止服务。

澳门美高梅手机网站 4
祈求五 双预示结构跨机房迁移架构图

现实的做法如下:

  • 1.103 和 1.104
    新建实例,搭建主从关系,此时的主节点和从节点处空载;
  • 承认 1.102 MySQL 状态(主要看 PROCESS LIST),注意观察 MASTER STATUS
    不再变化。观察机器流量,确认无误后,停止 1.102 从节点的劳务;
  • 1.103 新建 MySQL 实例,建成后,停止 MySQL 服务,并且以不折不扣数据目录
    mv 到外地方做备份;
  • 用 1.102 的浑 mysql 数据目录使用 rsync 拷贝到 1.103;
  • 拷贝的还要,在 1.101 授权,使 1.103 有拉取 binlog
    的权位(REPLICATION SLAVE, REPLICATION CLIENT);
  • 用拷贝就,修改 1.103 配置文件中之 server_id,注意不要同 1.102
    上之一样;
  • 每当 1.103 启动 MySQL
    实例,注意安排文件中之数据文件路径和数据目录的权柄;
  • 上 1.103 MySQL 实例,使用 SHOW SLAVE STATUS 检查从库状态,可以看到
    Seconds_Behind_Master 在递减;
  • Seconds_Behind_Master 变为 0 后,表示并到位,此时可为此
    pt-table-checksum 检查 1.101 和 1.103
    的数量一致,但较耗时,而且本着主节点起影响,可以与支付同进行数量一致性的说明;
  • 咱们用同一的点子,使 1.104 变成 1.103 的从库;
  • 以及研发沟通,除了做多少一致性验证他,还用说明账号权限,以防业务迁走后拜出错;
  • 此刻,我们设做的便是以 1.103 变成 2.101
    的从库,具体的做法可以参考场景四;
  • 亟需注意的凡,1.103 的单双号配置需要以及 1.101 一致;
  • 举行扫尾上述手续,可以同研发协调,把 1.101 的读写作业切到 1.103,把
    1.102 的读业务切到 1.104。观察业务状态;
  • 设事情并未问题,证明迁移成功。

3,spark启动

证明:要先期启动Hadoop
切换到Spark目录下
输入:

cd /opt/spark/spark2.2/sbin

接下来启动Spark
输入:

 start-all.sh

启动成功以后,可以应用jps命令在依次机器上查看是否成功。
好在浏览器输入: ip+8080 端口查看

澳门美高梅手机网站 5
假若成功展示是界面,则表示Spark成功启动。

三 MySQL 迁移方案概览


MySQL
迁移无非是环绕着多少做工作,再累延伸,无非就是是在管工作稳定持续地运作的前提下开备份恢复。那问题即以怎么快速安全地开展备份恢复。

一方面,备份。针对每个主节点之自节点还是备节点,都有备份。这个备份可能是全备,可能是增量备份。在线备份的法,可能是运
mysqldump,可能是 xtrabackup,还可能是 mydumper。针对小容量(10GB
以下)数据库的备份,我们好运用 mysqldump。但对大容量数据库(数百GB
或者 TB 级别),我们不克使 mysqldump
备份,一方面,会发锁;另一方面,耗时太长。这种情形,可以择
xtrabackup
或者直接拷贝数据目录。直接拷贝数据目录方法,不同机器传输可以应用
rsync,耗时跟网络有关。使用
xtrabackup,耗时根本以备份和网传输。如果产生全备或者指定库的备份文件,这是获得备份的尽好法子。如果备库可以容许停止服务,直接拷贝数据目录是极抢的办法。如果备库不允许停止服务,我们可应用
xtrabackup(不会见锁定 InnoDB 表),这是成就备份的无比佳折中方法。

单,恢复。针对小容量(10GB
以下)数据库的备份文件,我们得一直导入。针对大容量数据库(数百GB 或者
TB
级别)的东山再起,拿到备份文件到本机以后,恢复不算是困难。具体的回升措施可参考第四节。

八、其他

条件搭建参考:
http://blog.csdn.net/pucao_cug/article/details/72773564
环境布置参考的法定文档。

顶之,本课程就得了了,谢谢阅读!

版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
村办博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!

五 注意事项


介绍完不同状况的迁徙方案,需要注意如下几沾:

  • 数据库迁移,如果干事件,记住主节点打开 event_scheduler 参数;
  • 不管啊状况下的搬迁,都使天天关注服务器状态,比如磁盘空间,网络抖动;另外,对作业的不止监控也是少不了的;
  • CHANGE MASTER TO 的 LOG FILE 和 LOG POS
    切记不要找错,如果指定错了,带来的究竟就是是多少不等同或搭建主从关系失败;
  • 履行脚本不要当 $HOME 目录,记住在数码目录;
  • 搬工作得以下脚本做到自动化,但不要弄巧成拙,任何脚本还要由此测试;
  • 各执行同一长达命令还如三想和后行,每个命令的参数含义都设抓懂;
  • 多实例环境下,关闭 MySQL 采用 mysqladmin
    的款式,不要管着以的实例关闭了;
  • 自从仓库记得将 read_only = 1 长,这会避免过多题目;
  • 各令机械的 server_id 必须保证非均等,否则会出现同异常的状态;
  • 毋庸置疑配置 replicate-ignore-db 和 replicate-wild-do-table;
  • 新建的实例记得把 innodb_file_per_table 设置为
    1,上述被之有的场景,因为事先的实例此参数为 0,导致 ibdata1
    过怪,备份和导都吃了无数岁月;
  • 动 gzip 压缩数量常常,注意压缩完成后,gzip 会把来文件去;
  • 持有的操作务必在由节点还是备节点操作,如果当主节点操作,主节点杀可能会见宕机;
  • xtrabackup 备份不见面锁定 InnoDB 表,但会锁定 MyISAM
    表。所以,操作前记得检查下时数据库的申是否发生动 MyISAM
    存储引擎的,如果出,要么单独处理,要么更改表的 Engine。

1,文件准备

用下载下来的HBase的布文件进行解压
在linux上输入:

 tar  -xvf   hbase-1.2.6-bin.tar.gz

然后倒到/opt/hbase 文件夹里面,并重命名为 hbase1.2
输入

mv  hbase-1.2.6  /opt/hbase
mv  hbase1.2  /opt/hbase

4.6 场景六 多实例跨机房迁移

联网下去我们省多实例跨机房迁移证明开。每台机器的实例关系,我们得以参考图六。此次迁移的目的是为着开多少修复。在
2.117 上确立 7938 和 7939
实例,替换之前数据十分的实例。因为业务的由,某些库只以 A
地勾画,某些库只于 B 地描写,所以在共同过滤的图景。

澳门美高梅手机网站 6
祈求六 多实例跨机房迁移架构图

切切实实的做法如下:

  • 1.113 针对 7936 实例使用 innobackupex
    做数据备份,注意要指定数据库,并且增长 slave-info 参数;
  • 备份完成后,将压缩文件拷贝到 2.117;
  • 2.117 创建数量目录及安排文件涉及的有关目录;
  • 2.117 使用 innobackupex 恢复日志;
  • 2.117 使用 innobackupex 拷贝数据;
  • 2.117
    修改配置文件,注意如下参数:replicate-ignore-db、innodb_file_per_table
    = 1、read_only = 1、 server_id;
  • 2.117 更改数据目录权限;
  • 1.112 授权,使 2.117 有拉取 binlog 的权限(REPLICATION SLAVE,
    REPLICATION CLIENT);
  • 2.117 CHANGE MASTE TO 1.112,LOG FILE 和 LOG POS 参考
    xtrabackup_slave_info;
  • 2.117 START SLAVE,查看从库状态;
  • 2.117 上确立 7939 的法子类似,不过配置文件要指定
    replicate-wild-do-table;
  • 和支付同展开数据一致性的印证和证明账号权限,以防业务迁走后看出错;
  • 举行扫尾上述手续,可以同研发协调,把相应工作迁移至 2.117 的 7938 实例和
    7939 实例。观察业务状态;
  • 如果工作没有问题,证明迁移成功。

4.2.2,环境布置

编辑 /etc/profile 文件
输入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

设若配置生效

一 目录


  • 一 目录

  • 为什么要搬
  • 三 MySQL
    迁移方案概览
  • 四 MySQL
    迁移实战

    • 4.1 场景一
      一主一于构造迁移从仓库
    • 4.2 场景二
      一兆一由结构迁移指定库
    • 4.3 场景三
      一主一于布局双边迁移指定库
    • 4.4 场景四
      一预告一自组织总体迁移主从
    • 4.5 场景五
      双预示结构跨机房迁移
    • 4.6 场景六
      多实例跨机房迁移

  • 注意事项
  • 六 技巧
  • 七 总结
4.2.3.1 修改 spark-env.sh

以conf目录下,修改spark-env.sh文件,如果没有 spark-env.sh
该文件,就复制spark-env.sh.template文件并重命名为spark-env.sh。
改者新建的spark-env.sh文件,加入配置:

export SCALA_HOME=/opt/scala/scala2.1    
export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=4G

:上面的路子为温馨的呢按照,SPARK_MASTER_IP为主机,SPARK_EXECUTOR_MEMORY为设置的运作内存。

4.3 场景三 一预示一打构造双边迁移指定库

接下去看看同样预告一于组织双边迁移指定库怎么开。同样是以工作共用,导致服务器压力特别,管理混乱。于是,打算用主节点
101 和从节点 102 同时迁移到新的机 103、104、105、106,103 充当 104
的主节点,104 充当 103 的起节点,105 充当 106 的主节点,106 充当 105
的从节点,架构图如图三。此次迁移只待迁移指定库,这些库容量不是极怪,并且可保证数据不是实时的。我们可看,此次迁移和状况二坏接近,无非做了片软迁移。

澳门美高梅手机网站 7
贪图三 一兆一自结构双边迁移指定库架构图

切实的做法如下:

  • 103 和 104 新建实例,搭建主从关系,此时之主节点和由节点处空载;
  • 102 导出 103
    需要之指定库数据,正确的做法是布局定时任务,在事情低峰做导出操作,此处选择的是
    mysqldump;
  • 102 收集 103 需要之指定库需要的账号和权限;
  • 102 导出103 需要之指定库数据截止,使用 rsync 传输至
    103,必要时举行缩减操作;
  • 103 导入数据,此时数据会自动同步到 104,监控服务器状态及 MySQL
    状态;
  • 103 导入好,104 同步到位,103 根据 102
    收集的账号授权,完成后,通知研发检查数据以及账户权限;
  • 上述成功后,和研发协作,将 101 和 102 的事体迁移至 103 和
    104,观察业务状态;
  • 105 和 106 新建实例,搭建主从关系,此时底主节点和于节点处空载;
  • 102 导出 105
    需要的指定库数据,正确的做法是安排定时任务,在业务低峰做导出操作,此处选择的凡
    mysqldump;
  • 102 收集 105 需要之指定库需要之账号及权限;
  • 102 导出 105 需要的指定库数据截止,使用 rsync 传输至
    105,必要经常举行缩减操作;
  • 105 导入数据,此时数据会自动同步到 106,监控服务器状态及 MySQL
    状态;
  • 105 导入好,106 同步完成,105 根据 102
    收集之账号授权,完成后,通知研发检查数据以及账户权限;
  • 上述成功后,和研发协作,将 101 和 102 的作业迁移到 105 和
    106,观察业务状态;
  • 一旦持有事情并未问题,证明迁移成功。

1,集群机器安装图

这次为是集群搭建,所以在环境布置方面,我使用相同布置表来大概讲述。集群使用了3高机器,分别是master、slave1、slave2,通过名称命名就好掌握主从关系了。使用的操作系统是CentOS6.8,具体各个机器安装之部署如下表:
澳门美高梅手机网站 8

现实每个机器的布局就使齐图了。需要补充的凡,spark这块我莫利用官方自带的spark,而是利用的已编译好之spark和hive的版本。因为后在以hive查询的时节,不思量行使hive默认的mr,在hive2.x后头,官方也不建议了。因为用mr效率实在太没有,所以当后边我会以hive的引擎换成spark,而温馨还要休思再编译spark
,所以即便因故是版本了。如果各位想活动编译,或者出现重强的版本,就从未必要肯定按照点的来。还有存放路径这块,没必要一定要动用方面的,可以先行在机及用
df -h 查看相应的磁盘空间,再来进行配置。

四 MySQL 迁移实战


俺们为懂为何而召开动迁,以及搬迁怎么开下,接下看看生产环境是何等操作的。不同之用场景,有例外之化解方案。

看具体的实战之前,假设和读者来如下约定:

  1. 为保护隐私,本文中的服务器 IP 等消息经过处理;
  2. 如果服务器在同一机房,用服务器 IP 的 D 段代替服务器,具体的 IP
    请参考架构图;
  3. 假如服务器在不同机房,用服务器 IP 的 C 段 和 D 段代替服务器,具体的
    IP 请参见架构图;
  4. 每个场景被起主意,但非会见详细地于有各一样步执行什么令,因为一方面,这会造成文章过长;另一方面,我当要掌握方法,具体的做法就是会见迎面扑来之,只在掌握知识的水平以及获取信息的力量;
  5. 实战进程被之注意事项请参考第五节。

引言

    在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式。至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了。。。 
    整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多。在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来。于是就有了本篇博文。
    其实我在搭建的时候,并不是按部就班的搭建,中间或多或少都更改过不少,试验出来了目前没啥问题的集群搭建。在写本文的时候,开始准备将环境在一台机器上搭建,然后全部传输到其他机器上。但是想了想,这样或许在搭建环境的时候快速,但是对于阅读者来说,不太友好。于是便拆分出来了,单独搭建一个也是可以的。好了,废话就少说了,教程如下。

4.4 场景四 一兆一从结构整体迁移主从

联网下看看同样兆一由结构总体迁移主从怎么开。和观二类似,不过这里是搬迁所有库。因
101 主节点 IO 出现瓶颈,打算用主节点 101 和于节点 102 同时迁移到新的机器
103 和 104,103 充当主节点,104
充当起节点。迁移完成后,以前的主节点和从节点废弃,架构图如图四。此次迁移是全库迁移,容量非常,并且用确保实时。这次的迁移比较突出,因为运用的策略是先期替换新的从库,再交替新的主库。所以做法有点复杂些。

澳门美高梅手机网站 9
贪图四 一兆一自布局整体迁移主从架构图

切切实实的做法是如此:

  • 研发用 102 的读业务切到主库;
  • 确认 102 MySQL 状态(主要看 PROCESS LIST,MASTER
    STATUS),观察机器流量,确认无误后,停止 102 从节点的劳动;
  • 104 新建 MySQL 实例,建成之后,停止 MySQL 服务,并且将通数据目录
    mv 到任何地方开备份,注意,此处操作的凡 104,也不怕是前景的从库;
  • 用 102 的方方面面 mysql 数据目录使用 rsync 拷贝到 104;
  • 拷贝的以,在 101 授权,使 104 有拉取 binlog 的权位(REPLICATION
    SLAVE, REPLICATION CLIENT);
  • 需要拷贝就,修改 104 配置文件被的 server_id,注意不要和 102
    上的同一;
  • 当 104 启动 MySQL
    实例,注意安排文件被的数据文件路径和数目录的权力;
  • 进去 104 MySQL 实例,使用 SHOW SLAVE STATUS 检查从库状态,可以看看
    Seconds_Behind_Master 在递减;
  • Seconds_Behind_Master 变为 0 后,表示并完成,此时足据此
    pt-table-checksum 检查 101 和 104
    的数目一致,但比耗时,而且对准主节点起震慑,可以同出同开展多少一致性的认证;
  • 除了做多少一致性验证他,还需验证账号权限,以防业务迁走后走访出错;
  • 以及研发协作,将前 102 从节点的读业务切到 104;
  • 采用 102 的数目,将 103 变为 101 的于节点,方法和齐;
  • 联网下去到了严重性之地方了,我们需要将 104 变成 103 的从库;
    • 104 STOP SLAVE;
    • 103 STOP SLAVE IO_THREAD;
    • 103 STOP SLAVE SQL_THREAD,记住 MASTER_LOG_FILE 和
      MASTER_LOG_POS;
    • 104 START SLAVE UNTIL 到上述 MASTER_LOG_FILE 和
      MASTER_LOG_POS;
    • 104 再次 STOP SLAVE;
    • 104 RESET SLAVE ALL 清除从库配置信息;
    • 103 SHOW MASTER STATUS,记住 MASTER_LOG_FILE 和
      MASTER_LOG_POS;
    • 103 授权给 104 访问 binlog 的权限;
    • 104 CHANGE MASTER TO 103;
    • 104 重启 MySQL,因为 RESET SLAVE ALL 后,查看 SLAVE
      STATUS,Master_Server_Id 仍然为 101,而不是 103;
    • 104 MySQL 重开后,SLAVE 回机关重新开,此时查 IO_THREAD 和
      SQL_THREAD 是否为 YES;
    • 103 START SLAVE;
    • 此刻翻开 103 和 104 的状态,可以发现,以前 104 是 101
      的打节点,如今变成 103 的起节点了。
  • 工作迁移之前,断掉 103 和 101 的共同关系;
  • 举行扫尾上述手续,可以同研发协调,把 101 的诵读写作业切回 102,读业务切到
    104。需要留意的是,此时 101 和 103 均好写,需要确保 101
    在无写入的景象下切到 103,可以下 FLUSH TABLES WITH READ LOCK
    锁住 101,然后工作切到 103。注意,一定要工作低峰执行,切记;
  • 切换完成后,观察业务状态;
  • 倘事情并未问题,证明迁移成功。

5.3.1 创建文件以及目录

于集群的服务器上还创这些目录

mkdir   /opt/zookeeper/data  
mkdir   /opt/zookeeper/dataLog

再者在/opt/zookeeper/data目录下开创myid文件
输入:

touch  myid

缔造成功后,更改myid文件。
自己立边为了便利,将master、slave1、slave2的myid文件内容变更吧1,2,3
澳门美高梅手机网站 10

6,整体环境变量设置

于 /etc/profile
这个布局文件要增长很多的条件布置,这里就优先拿总体的环境布置列举出,各位在配备环境变量的坐团结之呢按照!!!
可以事先配备好环境变量之后,在传输到其他机器上。
本身此先将这些部署都传至其他的机上了,并且还source了,所以下文中之布局文件的操作实际是绝非举行的。具体情况以协调之呢按照。

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
# Scala Config
export SCALA_HOME=/opt/scala/scala2.12
# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4
# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2
# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

1. 重复改主机名

说明:更改主机名是为便利集群管理,不然每个机器的称都受localhost也非太好吧!
集群所有的机器都如举行这个操作。

输入

 vim /etc/sysconfig/network 

拿localhost.localdomain修改为你只要还改之称呼,每台名称还非雷同
例如:

HOSTNAME=master

注: 名称更改了之后输入reboot重启才会生效。

5,快捷键设置(可选)

征:因为若常常切换各个目录以内,所以为了偷懒,就设置别叫了。只待在linux输入别名,就可以推行别名后面的授命,相当之有益。
例如:我们常常因此之ll就是 ls -l 的号。关于别名这块各位好自动检索。
输入:

vim ~/.bashrc

丰富底下的情

# Some more ailases
alias chd='cd /opt/hadoop/hadoop2.8'
alias chb='cd /opt/hbase/hbase1.2'
alias chi='cd /opt/hive/hive2.1'
alias czk='cd /opt/zookeeper/zookeeper3.4'
alias csp='cd /opt/spark/spark2.0-hadoop2.4-hive'

alias fhadoop='/opt/hadoop/hadoop2.8/bin/hdfs namenode -format'
alias starthadoop='/opt/hadoop/hadoop2.8/sbin/start-all.sh'
alias stophadoop='/opt/hadoop/hadoop2.8/sbin/stop-all.sh'

alias starthbase='/opt/hbase/hbase1.2/bin/start-hbase.sh'
alias stophbase='/opt/hbase/hbase1.2/bin/stop-hbase.sh'

alias startzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh start'
alias stopzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh stop'
alias statuszk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh status'

alias startsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/start-all.sh'
alias stopsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/stop-all.sh'

澳门美高梅手机网站 11

成添加之后输入

source ~/.bashrc

然后输入设置的别名就足以推行你所装的内容了。别名的装不必然非要是依照地方的,如果起再次好方法就是伸手用

3,hadoop启动

:启动hadoop之前确保防火墙关闭,各个机器时经过,ssh免登录都不曾问题。
初始化hadoop
切换到/opt/hadoop/hadoop2.8/bin索引下输入

./hdfs  namenode  -format

初始化成功之后,切换到/opt/hadoop/hadoop2.8/sbin
启动hadoop 的hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

率先蹩脚登录会询问是否连,输入yes ,然后输入密码便好了
启航成功之后,可以应用jps命令在依次机器上查看是否成功
可在浏览器输入: ip+50070 和8088端口查看
澳门美高梅手机网站 12

澳门美高梅手机网站 13

假如使图显示,则启动成功。
假使败,检查jps是否中标启动,防火墙是否还关门。都认可没有问题后,还是无法打开界面,请查看日志,再来寻找原因。

七、Hive的环境设置配备

为hive安装使用非需集群,只需要于平令机器及安使用就好了,之前以自身之
生数额上系列之四 —–
Hadoop+Hive环境多建筑图文详解(单机)
http://www.panchengming.com/2017/12/16/pancm61/
里面已经教的要命详细,所以本文就不在叙述了。

6.3.3 修改regionservers

指定hbase的着力,和hadoop的slaves文件配置一样
以文件修改为

slave1 
slave2

澳门美高梅手机网站 14
:上面的吗集群的主机名称

每当相同玉机械及(最好是master)做了这些配置之后,我们采取scp命令将这些部署传输至任何机器上。
输入:
hbase环境传输

scp -r /opt/hbaseroot@slave1:/opt
scp -r /opt/hbase root@slave2:/opt

传输之后,便在主节点启动集群。

5.3.2 新建zoo.cfg

切换到/opt/zookeeper/zookeeper3.4/conf 目录下
使无 zoo.cfg 该文件,就复制zoo_sample.cfg文件并重命名为zoo.cfg。
改者新建的zoo.cfg文件

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

澳门美高梅手机网站 15

说明:client
port,顾名思义,就是客户端连接zookeeper服务的端口。这是一个TCP
port。dataLogDir里是搭的顺序日志(WAL)。而dataDir里放的凡内存数据结构的snapshot,便于快速回复。为了达成性能最大化,一般提议将dataDir和dataLogDir分到不同之磁盘上,这样就算好充分利用磁盘顺序写的特色。dataDir和dataLogDir需要协调创立,目录可以友善创制,对承诺即可。server.1中的这个1内需跟master这个机器上的dataDir目录中之myid文件中之数值对应。server.2中之之2消与slave1这个机器上的dataDir目录中之myid文件中的数值对应。server.3中之斯3待同slave2这个机器上之dataDir目录中之myid文件被的数值对应。当然,数值你得随便用,只要对应即可。2888和3888的端口号为堪管用,因为以不同机器上,用成一样呢不在乎。
1.tickTime:CS通信心跳数
Zookeeper 服务器之间或客户端和服务器之间维持心跳的光阴间隔,也尽管是每个
tickTime 时间虽会见发送一个心跳。tickTime以毫秒为单位。
tickTime=2000
2.initLimit:LF初始通信时限
聚集众多被的follower服务器(F)与leader服务器(L)之间开始连接时亦可耐受的最多中心跳数(tickTime的数)。
initLimit=10
3.syncLimit:LF同步通信时限
会合众多被的follower服务器和leader服务器之间请求与回答之间能够隐忍的极端多心灵跳数(tickTime的数量)。
syncLimit=5

还是将zookeeper传输到其它的机器及,记得改 /opt/zookeeper/data
下的myid,这个不可知同一。
输入:

scp -r /opt/zookeeper root@slave1:/opt
scp -r /opt/zookeeper root@slave2:/opt

4,启动hbase

在功成名就启动Hadoop、zookeeper之后
切换到HBase目录下

cd /opt/hbase/hbase1.2/bin

输入:

start-hbase.sh

起先成功后,可以使jps命令于逐一机器上查看是否中标
得在浏览器输入: ip+16010 端口查看
澳门美高梅手机网站 16

假若成功展示该界面,则启动成功。

6.3.2 修改 hbase-site.xml

编辑hbase-site.xml 文件,在<configuration>累加如下配置

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://master:9000/hbase</value>
 <description>The directory shared byregion servers.</description>
</property>
 <!-- hbase端口 -->
<property>
 <name>hbase.zookeeper.property.clientPort</name>
 <value>2181</value>
</property>
<!-- 超时时间 -->
<property>
 <name>zookeeper.session.timeout</name>
 <value>120000</value>
</property>
<!--防止服务器时间不同步出错 -->
<property>
<name>hbase.master.maxclockskew</name>
<value>150000</value>
</property>
<!-- 集群主机配置 -->
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>master,slave1,slave2</value>
</property>
<!--   路径存放 -->
<property>
 <name>hbase.tmp.dir</name>
 <value>/root/hbase/tmp</value>
</property>
<!-- true表示分布式 -->
<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>
  <!-- 指定master -->
  <property>
    <name>hbase.master</name>
    <value>master:60000</value>
  </property>

</configuration>

澳门美高梅手机网站 17
说明:hbase.rootdir:这个目录是region
server的共享目录,用来持久化Hbase 。hbase.cluster.distributed
:Hbase的运作模式。false是单机模式,true是分布式模式。若否false,Hbase和Zookeeper会运行于同一个JVM里面。

1,JDK配置

说明:
一般CentOS自带了openjdk,但是hadoop集群使用的凡oracle官方的jdk,所以先卸载CentOS的jdk,然后又装在oracle下充斥好之JDK。
率先输入 java -version
翻看是否安装了JDK,如果设置了,但本不相符的话,就卸载
澳门美高梅手机网站 18

输入
rpm -qa | grep java
翻信息
澳门美高梅手机网站 19
下一场输入:
rpm -e –nodeps “你要是卸载JDK的音信”
如: rpm -e –nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
澳门美高梅手机网站 20

确认没有了后,解压下充斥下来的JDK

tar  -xvf   jdk-8u144-linux-x64.tar.gz

运动及opt/java文件夹着,没有就新建,然后用文件夹又命名也jdk1.8。

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

下一场编辑 profile 文件,添加如下配置
输入:

vim /etc/profile

添加:

export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

添加成功后,输入

source /etc/profile
java  -version 

查阅是否配备成功

2,环境布置

编辑 /etc/profile 文件
输入:

export HBASE_HOME=/opt/hbase/hbase1.2
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

而配置生效
输入
hbase version
翻版本
澳门美高梅手机网站 21

4,时间部署

集群达之机械时要共同,因为自身就边的凡虚拟机,所以就无须了。
安装集群时间共同可以运用NTP服务。
切切实实可以参见: http://blog.csdn.net/to_baidu/article/details/52562574

2,hadoop配置

4.2.3,更改配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf

季、Spark的条件布置

说明:其实spark的连锁安排,我以老大数量上系列之六 —–
Hadoop+Spark环境搭建
http://www.panchengming.com/2017/12/19/pancm63/
应该已经说的雅详细了,虽然是单机环境。其实集群为就是大增个slave配置,其他的小好像没什么了。所以尽管概括的贴下配置。

老二、集群的相关部署

目录

[TOC]

3,修改配置文件

2,ssh免登录

安ssh免密码登录是以操作便利
变更秘钥文件
以各级台机器上都尽同一全体
首先输入:

ssh-keygen -t rsa -P ''

别秘钥之后,然后拿每令机器/root/.ssh
都存入内容千篇一律的文件,文件名称叫authorized_keys,文件内容是我们才为3令机器生成的公钥。可以于平等大机械上转移,然后复制到另外的机及。

新建authorized_keys文件
输入 :

 touch  /root/.ssh/authorized_keys

编辑 authorized_keys 并以另机器及的秘钥拷贝过来

cat /root/.ssh/id_rsa.pub
vim /root/.ssh/authorized_keys

将其它机器上的 id_rsa.pub 的情节拷贝到 authorized_keys这个文件被。
先是个机械:
澳门美高梅手机网站 22

其次单机械:
澳门美高梅手机网站 23

老三独机械:
澳门美高梅手机网站 24

最终authorized_keys文件的情节
澳门美高梅手机网站 25

拿之最终之authorized_keys文件copy到任何机器的 /root/.ssh
目录下。使用scp或者ftp都得。
scp命令示例:

scp -r /root/.ssh/authorized_keys root@192.169.0.24:/root/.ssh

测试不密码登录
输入:

ssh slave1
ssh slave2

输入 exit 退出
澳门美高梅手机网站 26

3.2.2.3 修改 hdfs-site.xml

下的hdfs的寄放路径,可以依据自己机器更改。
<configuration>节点内加入配置:

 <property>
    <name>dfs:replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/root/hadoop/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/root/hadoop/data</value>
  </property>    

澳门美高梅手机网站 27

3.5.2.5 修改yarn-site.xml文件

yarn 资源调度的配备,集群的讲话是布局是要的。
修改/opt/hadoop/hadoop2.8/etc/hadoop/yarn-site.xml文件,
<configuration>节点内进入配置

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8182</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

澳门美高梅手机网站 28

说明:yarn.nodemanager.vmem-check-enabled这个的意是忽视虚拟内存的检讨,如果你是设置于虚拟机上,这个布局不行有因此,配上然后继续操作不轻有问题。如果是实体机上,并且内存够多,可以以之布局去丢。

六、HBase的环境布置

2.做主机与IP的关系映射

改hosts文件,做涉嫌映射
征:这个每台机械都召开这布局,具体ip和主机名称为协调之也以。
输入:

vim /etc/hosts

添加

192.169.0.23 master
192.169.0.24 slave1
192.169.0.25 slave2

澳门美高梅手机网站 29
说明:可以当同样雅机械上加了后来方可以scp
命令或用ftp将是文件copy到 其他机器中。
scp命令示例:

scp -r /etc/hosts root@192.169.0.24:/etc

6.3.1 修改hbase-env.sh

编排 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

澳门美高梅手机网站 30
说明:配置的路为好的啊仍。HBASE_MANAGES_ZK=false
是休启用HBase自带的Zookeeper集群。

五、Zookeeper的环境布置

以HBase做集群,所以就算用zookeeper了。
zookeeper
在众条件多建筑及,都见面发生外的身影,如kafka、storm等,这里就非多说了。

1,Scala配置

跟JDK配置几乎同样

4.2.3.2 修改slaves

slaves 分布式文件
以conf目录下,修改slaves文件,如果无 slaves澳门美高梅手机网站 该文件,就复制slaves
.template文件并重命名为slaves 。
修改是新建的slaves 文件,加入配置:

slave1 
slave2

在同宝机器及(最好是master)做扫尾这些配置之后,我们应用scp命令将这些部署传输至其它机器上。
输入:
scala环境传输

scp -r /opt/scala root@slave1:/opt
scp -r /opt/scala root@slave2:/opt

spark环境传输

scp -r /opt/spark root@slave1:/opt
scp -r /opt/spark root@slave2:/opt

传之后,便以主节点启动集群。

3.2.2 环境布置

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

输入:

source  /etc/profile

苟配置生效

3,防火墙关闭

说明:其实可以无停歇防火墙,进行权力设置,但是为了便于访问,于是就关闭了防火墙。每个机器都开!!!

关防火墙的一声令下
终止防火墙:
service iptables stop
启动防火墙:
service iptables start
重复开防火墙:
service iptables restart
永恒关闭防火墙:
chkconfig iptables off

3.2.3.2 修改 hadoop-env.sh

其一要举行,不掌握干什么相对路径不识别,于是就利用绝对路径。

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/opt/java/jdk1.8

横流:修改为协调JDK的路径
澳门美高梅手机网站 31

4,启动zookeeper

因为zookeeper是选举制,它的主从关系并无是诸如hadoop那样指定的,具体可关押官方的文档说明。
成功安排zookeeper之后,在各令机器上启动zookeeper。
切换到zookeeper目录下

cd /opt/zookeeper/zookeeper3.4/bin

输入:

zkServer.sh start

得逞启动后
翻看状态输入:

 zkServer.sh status

得查阅各个机器及zookeeper的leader和follower
澳门美高梅手机网站 32

3.5.2.6 修改slaves

安装基本的部署。如果无安装是,集群就无法得知主从了。如果是单机模式,就从不必要配置了。
修改/opt/hadoop/hadoop2.8/etc/hadoop/slaves文件
更改为

slave1 
slave2

这些安排参考Hadoop官方文档。
Hadoop官方配置文件具体说明: http://hadoop.apache.org/docs/r2.8.3/

每当一如既往尊机器上(最好是master)做得了这些安排之后,我们应用scp命令将这些部署传输至任何机器及。
输入:
jdk环境传输

scp -r /opt/java root@slave1:/opt
scp -r /opt/java root@slave2:/opt

hadoop环境传输

scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt

传之后,便以主节点启动集群。
当起步hadoop之前,需要初始化,这个才待以master上初始化就足以了。

4.2.1,文件准备

拿下充斥好之Spark文件解压
输入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

然后倒到/opt/spark 里面,并重命名
输入

mv  spark-1.6.3-bin-hadoop2.4-without-hive  /opt/spark
mv  spark-1.6.3-bin-hadoop2.4-without-hive  spark1.6-hadoop2.4-hive

3.2.3 修改配置文件

修改 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml
等这些配置文件
于linux输入进去该目录的下令:

cd /opt/hadoop/hadoop2.8/etc/hadoop

4.1.2 环境布置

编辑 /etc/profile 文件
输入:

export SCALA_HOME=/opt/scala/scala2.12
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source  /etc/profile

假定配置生效
输入 scala -version 查看是否安装成功

1,主机名转移和主机和IP做相关映射

3.2.1 文件准备

以下载下来的Hadoop的配备文件进行解压
在linux上输入:

 tar  -xvf   hadoop-2.8.2.tar.gz

下一场将解压之后的文件夹移动及opt/hadoop文件夹下,没有该文件夹就新建,然后以文件夹又命名吧hadoop2.8。
于linux上输入移动文件夹命令:

mv  hadoop-2.8.2 /opt/hadoop
mv  hadoop-2.8.2 hadoop2.8
3.5.2.4 修改mapred-site.xml

尽mapreduce的运行框架配置。ps:感觉是布局没啥用,可能本身无因此mr吧。
假设没 mapred-site.xml
该公文,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
改者新建的mapred-site.xml文件,在<configuration>节点内投入配置:

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

无异于、环境选择

2,配置说明

  • JDK :Hadoop和Spark 依赖的配置,官方建议JDK版本在1.7上述!!!
  • Scala:Spark依赖之安排,建议版本不低于spark的本子。
  • Hadoop: 是一个分布式系统基础架构。
  • Spark: 分布式存储的很数量进行处理的家伙。
  • zookeeper:分布式应用程序协调服务,HBase集群需要。
  • HBase: 一个结构化数据的分布式存储系统。
  • Hive: 基于Hadoop的一个数据仓库工具,目前底默认元数据库是mysql。

2,环境布置

编辑 /etc/profile 文件
输入:

export  ZK_HOME=/opt/zookeeper/zookeeper3.4 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source  /etc/profile

假使配置生效

3,修改配置文件

切换到 /opt/hbase/hbase-1.2.6/conf 下

1,文件准备

用下载下来的Zookeeper 的配备文件进行解压
在linux上输入:

 tar  -xvf   zookeeper-3.4.10.tar.gz

接下来倒到/opt/zookeeper里面,没有就新建,然后拿文件夹又命名为zookeeper3.4
输入

mv  zookeeper-3.4.10  /opt/zookeeper
mv  zookeeper-3.4.10  zookeeper3.4

发表评论

电子邮件地址不会被公开。 必填项已用*标注