搭建Hadoop平台(澳门美高梅手机网站新手入门)

恰巧高校结束学业,接触大数量有一年的年华了,把团结的一部分上学笔记分享给大家,希望同热爱大数额的伴儿们一起上学,成长!

制造平安的奥迪Q5D网关是一件尤其好的作业,那样能够在公网环境下直接远程联网内部的已打开远程访问的主机服务器。

 资料准备:

建立这几个安全的库罗德D网关须要的素材有奥迪Q7D网关本人,以及四个证件。由于一般情形下那一个在LacrosseD网关前面包车型大巴服务器均是公司内部的能源服务器,由此申请证书能够使用自签格局给协调的翼虎D网关多少个有效期暗中同意7个月的证书。

  Hadoop-2.7.1下载:http://pan.baidu.com/s/1o7LKaSU 密码:64du

上面包车型客车图像和文字化教育程能够相当的慢的始建1个契合安全规则的自签证书,并被安装到CRUISERD网关上边。

  Jdk下载(文中使用1.7,那里给得1.8,不影响使用):http://pan.baidu.com/s/1kVEEJ91
密码:r22t

澳门美高梅手机网站 1

设置步骤:

Figure 1开端–>管理工科具–>远程桌面服务–>远程桌面网关管理器

0.停歇防火墙

 

执行:service iptables
stop 那些命令关闭完防火墙后,借使重启,防火墙会重新成立,所以,如若想重启后防火墙还关闭,需额外执行:chkconfig iptables off

澳门美高梅手机网站 2

1.配置主机名

Figure 2选在左边,本地服务器,会在左侧操作窗格中冒出属性。单机选用属性,打开该网关属性

执行: vim
/etc/sysconfig/network

 

编写主机名

澳门美高梅手机网站 3

留意:主机名里不能够有下滑线,大概特殊字符#$,不然会找不到主机导致不只怕起动

Figure 3,选拔“SSL 证书”选项卡再选拔创立自签证书

那种艺术改变主机名须要重启才能永远生效,因为主机名属于基本参数。

 

一旦不想重启,能够执行:hostname
hadoop01。可是那种转移是临时的,重启后会苏醒原主机名。

澳门美高梅手机网站 4

所以能够构成使用。先修改配置文件,然后实施:hostname
hadoop01 。能够高达不重启或重启都以主机名都以同多个的目标

Figure **4这一部很重点,在申明名称中,输入本身梦想获取的表明名称和样式,比如您申请了1个域名linuxf.com,然后成立了3个A记录rdg在其上,并且期望rdg.linuxf.com
作为奥德赛D
网关被使用起来,那你供给输入rdg.linuxf.com**

 澳门美高梅手机网站 5

 

2.配置hosts文件

澳门美高梅手机网站 6

施行:vim
/etc/hosts(192.168.161.41是自己自身机器的ip,那里不可不写入本人本机的ip)

Figure 5点击鲜明以往,对应的评释会变卦在制订好的途径下边

澳门美高梅手机网站 7

 

3.配备免秘钥登录

澳门美高梅手机网站 8

在hadoop01节点执行(执行过hostname hadoop01):

Figure 6继续单击显著以后,由于使用了新的表明,由此须求再行启航行路瑞虎D网关服务,系统提醒,请点击显著系统自动重启该牧马人D网关服务

执行:ssh-keygen

 

然后径直回车,直到出现类似的图样:

时于今日,我们已经成功安装好了普拉多D网关所急需的表明,能够一向利用“https://rd网关的域名”,访问一下查看此证书书否生效。

 澳门美高梅手机网站 9

澳门美高梅手机网站 10

转移节点的公钥和私钥,生成的公文仲自行放在/root/.ssh目录下

Figure 7成功启用证书并且能够访问的奥迪Q3D网关

下一场把公钥发往远程机器,比如hadoop01向hadoop02发送

 

执行:**ssh-copy-id
root@hadoop01**

以下内容为更好提供安全的远程桌面服务所提供的平安措施

那时,hadoop02节点正是把收到的hadoop秘钥保存在

澳门美高梅手机网站 11

/root/.ssh/authorized_keys
这几个文件里,这么些文件也就是访问白名单,凡是在此白通晓存款和储蓄的 秘钥对应的机器,登录时皆防止密码登录的。

Figure 8在治本上边打开汉兰达D回话主机配置,选择总是名为QashqaiDP-Tcp的连日,右键选拔属性

当hadoop01再次通过ssh远程登录hadoop02时,发现不要求输入密码了。

澳门美高梅手机网站 12

 澳门美高梅手机网站 13

Figure 9常规选项卡中选用证书

在hadoop02节点执行上述上述手续,让hadoop02节点连接hadoop01免密码登录

澳门美高梅手机网站 14

4.布署自身节点登录的免密码登录

Figure 10列出的证件是设置在那台机械上的可行证件,然后选取3个和刚刚创设一致的评释,点击分明

假要是单机的伪分布式环境,节点需求报到本身节点,即hadoop01要登录hadoop01

 

只是此时是亟需输入密码的,所以要在hadoop01节点上

如此在进行远程的条件中卡宴D网关与长途用户机启用了加密,TiggoDP-Tcp连接之间也启用加密。

推行:ssh-copy-id root@hadoop01(上边已经交付)

 

5.安装和配置jdk

那样设置的益处是便利、灵活,不过也有弊端,比如证书有效期时间较短,默许意况下要求安装此证书在准备远程连接的客户端上。

1)安装jdk

-=EOB=-

mkdir /usr/local/src/java

rz 上传jdk tar包

tar -xvf jdk-7u51-linux-x64.tar.gz

安顿环境变量

1:vi /etc/profile

2:在尾行添加

#set java environment

JAVA_HOME=/usr/local/src/java/jdk1.7.0_51

JAVA_BIN=/usr/local/src/java/jdk1.7.0_51/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

保留退出

3:source /etc/profile 使更改的配备立刻生效

4:java -version 查看JDK版本新闻。如出示1.7.0表达成功。

执行: vi /etc/profile

2)在尾行添加

#set java environment

JAVA_HOME=/usr/local/src/java/jdk1.7.0_51

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOMEPATH CLASSPATH

封存退出

3)source /etc/profile 使更改的布置立时生效

4)java -version 查看JDK版本新闻。如出示1.7.0证实成功。

6.上传和解压hadoop安装包

执行:tar -xvf hadoop……(包名)

目录表达:

bin目录:命令脚本

etc/hadoop:存放hadoop的配备文件

lib目录:hadoop运维的正视jar包

sbin目录:运营和关闭hadoop等一声令下都在此间

libexec目录:存放的也是hadoop命令,但貌似不常用

最常用的就是bin和etc目录

7.配置hadoop-env.sh

以此文件里写的是hadoop的环境变量,首要修改hadoop的java_home路径

切换到 etc/hadoop(cd etc/hadoop)目录

执行:vim hadoop-env.sh

修改java_home路径和hadoop_conf_dir
路径(自身本机的装置目录)

澳门美高梅手机网站 15

下一场实施:**source
hadoop-env.sh **让配置马上生效

8.修改core-site.xml

在 etc/hadoop 目录下

执行:**vim core-site.xml**

安排如下:

 澳门美高梅手机网站 16

<configuration>

<!–用来内定hdfs的上司,namenode的地方–>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop01:9000<value>

</property>

<!–用来钦赐hadoop运转时产生文书的寄放目录–>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/soft/hadoop-2.7.1/tmp</value>

</property>

</configuration>

9.修改vim hdfs-site .xml

布置如下:

 澳门美高梅手机网站 17

<configuration>

<!–钦赐hdfs保存数据副本的数额,包涵本身,默许值是3–>

<!–如果是伪分布形式,此值是1–>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<!–设置 hdfs 的操作权限, false 代表其他用户都足以在 hdfs 上操作文件–>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

10.修改vim mapred-site.xml

以此文件发轫时是绝非的,有的是模板文件,mapred-site.xml.template

为此需求拷贝一份,视同一律命名为mapred-site.xml

执行:**cp mapred-site.xml.template
mapred-site.xml**

安插如下:

澳门美高梅手机网站 18

<configuration>

<property>

<!–指定mapreduce运行在yarn上–>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn是能源协调工具,

11.修改vim yarn-site.xml

布置如下:

 澳门美高梅手机网站 19

<configuration>

<!–Site specific YARN configuration
properties –>

<property>

<!–指定yarn的老大resoucemanager的地址–>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<!–NodeManager获取数据的章程–>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

12.配置vim slaves文件

澳门美高梅手机网站 20

13.配置hadoop的条件变量 

配备代码:**vim /etc/profile**

澳门美高梅手机网站 21

HADOOP_HOME=/usr/soft/hadoop-2.7.1JAVA_HOME=/usr/local/src/java/jdk1.7.0_51

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export JAVA_HOME PATH CLASSPATH
HADOOP_HOME

14.格式化namenode

为啥要格式化?

执行:**hadoop namenode
-format**

设若倒霉使,能够重启linux

当现身:successfully,注明格式化成功

 澳门美高梅手机网站 22

15.启动Hadoop

cd hadoop-2.7.1/sbin (进入hadoop安装目录后执行)

./start-dfs.sh或者sh start-dfs.sh

16.停止Hadoop

./stop-dfs.sh 或者sh
stop-dfs.sh

注:假若在运维时,报错:Cannot find
configuration directory: /etc/hadoop

化解办法:

编辑etc/hadoop下的hadoop-env.sh 文件,添加如下配置音信:

澳门美高梅手机网站 23

export
HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

下一场实施source
hadoop-env.sh 使配置立时生效

执行:**start-yarn.sh** 运营yarn相关的劳务

在浏览器访问:

192.168.161.41:50070 来访问 hadoop 的保管页面(必须是本身本机的ip)

 

世家若感兴趣,转发本文,请注脚出处

发表评论

电子邮件地址不会被公开。 必填项已用*标注