2.hadoop要旨配备澳门美高梅手机网站,本地形式,伪分布式搭建

2. Hadoop二种集群格局

采纳DOM
Explorer工具查看网页的DOM状态、检查HTML结构和CSS样式,并测试更改以化解突显难题。那足以在要素地点不当或行为很是时拉扯你诊断难题,然后解决难题。

1. 二种集群格局

  1. 本土形式

       hdfs dfs -ls /
       不需要启动任何进程
    
  2. 伪分布式

       所有进程跑在一个机器上
    
  3. 全然分布式

       每个机器运行不同的进程
    
  4. 服务器基本配置

DOM Explorer图示:

2.1 服务器配置及系统版本

  1. CPU: 2核
  2. 内存: 4G
  3. 系统版本: Centos7 1511

澳门美高梅手机网站 1

2.2 服务器IP及主机名设置

  1. 服务器数量: 五台机器

    主机名 公网IP 内网IP
    hadoop-1 192.168.10.145 172.16.1.207
    hadoop-2 192.168.10.149 172.16.1.206
    hadoop-3 192.168.10.152 172.16.1.204
    hadoop-4 192.168.10.153 172.16.1.208
    hadoop-5 192.168.10.156 172.16.1.205
  2. 据悉上述表格修改hosts表和主机名

    修改Hosts
    #vim /etc/hosts
    192.168.10.145  hadoop-1
    192.168.10.149  hadoop-2
    192.168.10.152  hadoop-3
    192.168.10.153  hadoop-4
    192.168.10.156  hadoop-5
    
    #scp /etc/hosts hadoop-2:/etc/
    #scp /etc/hosts hadoop-3:/etc/
    #scp /etc/hosts hadoop-4:/etc/
    #scp /etc/hosts hadoop-5:/etc/
    
    设置主机名
    #hostnamectl set-hostname hadoop-1
    #hostnamectl set-hostname hadoop-2
    #hostnamectl set-hostname hadoop-3
    #hostnamectl set-hostname hadoop-4
    #hostnamectl set-hostname hadoop-5
    
  3. ssh认证

    hadoop-1主机上执行
    #ssh-keygen -t rsa -P ''
    #ssh-copy-id 192.168.10.145
    #scp -r .ssh 192.168.10.149:/root/
    #scp -r .ssh 192.168.10.152:/root/
    #scp -r .ssh 192.168.10.153:/root/
    #scp -r .ssh 192.168.10.156:/root/
    
  4. 创建 /soft 存放jdk和Hadoop目录

    #ssh hadoop-1 'mkdir /soft'
    #ssh hadoop-2 'mkdir /soft'
    #ssh hadoop-3 'mkdir /soft'
    #ssh hadoop-4 'mkdir /soft'
    #ssh hadoop-5 'mkdir /soft'
    
  5. 安装jdk

    #cd /root/
    #确保已经下载了相关jdk包
    #scp jdk-8u131-linux-x64.tar.gz hadoop-1:/soft/
    #scp jdk-8u131-linux-x64.tar.gz hadoop-2:/soft/
    #scp jdk-8u131-linux-x64.tar.gz hadoop-3:/soft/
    #scp jdk-8u131-linux-x64.tar.gz hadoop-4:/soft/
    #scp jdk-8u131-linux-x64.tar.gz hadoop-5:/soft/
    
    所有的服务器
    #tar xf /soft/jdk-8u131-linux-x64.tar.gz -C /soft
    #ln -s /soft/jdk1.8.0_131 /soft/jdk  创建软连接
    配置环境变量
    #vim /etc/profile
    JAVA_HOME=/soft/jdk
    PATH=$PATH:$JAVA_HOME/bin
    #source /etc/profile
    
  6. 配置hadoop

    #scp hadoop-2.7.3.tar.gz hadoop-1:/soft/
    #scp hadoop-2.7.3.tar.gz hadoop-2:/soft/
    #scp hadoop-2.7.3.tar.gz hadoop-3:/soft/
    #scp hadoop-2.7.3.tar.gz hadoop-4:/soft/
    #scp hadoop-2.7.3.tar.gz hadoop-5:/soft/
    所有服务器
    #tar xf /soft/hadoop-2.7.3.tar.gz -C /soft
    #ln -s /soft/hadoop-2.7.3 /soft/hadoop  创建软连接
    修改环境变量
    #vim /etc/profile
    HADOOP_HOME=/soft/hadoop
    PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    #source /etc/profile
    修改hadoop-env.sh
    # vim /soft/hadoop/etc/hadoop/hadoop-env.sh
    修改hadoop-env.sh 修改hadoop的jAVA_HOME
    export JAVA_HOME=/soft/jdk
    
  7. 本地方式

  8. 本土就是单机格局,hadoop默许安装完就是单机形式

  9. hdfs默许使用当地的文件系统
  10. hdfs dfs -ls / 查看本地文件系统 和linux的ls /一样

左手窗口称之为“元素窗格”,
它可以实时呈现当前创制的DOM,使用鼠标浏览它,单击父元素旁的箭头可将其开展用以查看子元素。

3.1 测试单词计算

#hdfs dfs -mkdir /input
#cd /input/
#echo “hello word” > file1.txt
#echo “hello hadoop” > file2.txt
#echo “hello mapreduce” >> file2.txt
#cd /soft/hadoop/
#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
#hdfs dfs  -ls /output/
Found 2 items
-rw-r--r--   1 root root          0 2017-06-21 11:56 /output/_SUCCESS
-rw-r--r--   1 root root         48 2017-06-21 11:56 /output/part-r-00000

左侧窗口称之为“样式窗格”,它提供了分化的视图,用以查看元素运用了怎样式,以及元素关联事件触发了哪段代码。

4. 伪分布式

要素窗格

4.1 伪分布式介绍

Hadoop 可以在单节点上以伪分布式的法门运行,Hadoop 进度以分手的 Java
进度来运行,节点既作为 NameNode 也视作 DataNode,同时,读取的是 HDFS
中的文件。
Hadoop 的安排文件位于 /soft/hadoop/etc/hadoop/
中,伪分布式须求修改2个布局文件 core-site.xml 和 hdfs-site.xml
。Hadoop的安插文件是 xml 格式,每个配置以宣称 property 的 name 和 value
的点子来落实。

可以采纳七种格局采取要翻看的要素:

4.2 伪分布式搭建

  1. 配备伪分布式

    #mkdir /data/hadoop
    #cd /soft/hadoop/etc/
    #mv hadoop local
    #cp -r local pseudo
    #ln -s pseudo hadoop
    #cd hadoop
    
  2. 修改core-site.xml配置文件

    #vim core-site.xml 
    [core-site.xml配置如下]
    
    <?xml version="1.0"?>
    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/data/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
                <value>hdfs://localhost/</value>
           </property>
    </configuration>
    
  3. 修改hdfs-site.xml配置文件

    #vim hdfs-site.xml 
    [hdfs-site.xml配置如下]
    <?xml version="1.0"?>
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
          <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/data/hadoop/tmp/dfs/name</value>
       </property>
       <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/data/hadoop/tmp/dfs/data</value>
       </property>
    </configuration>
    
    hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件)
    因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
    此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此)
    不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
    YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度。YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性,YARN 的更多介绍在此不展开,有兴趣的可查阅相关资料
    
  4. 修改mapred-site.xml配置文件

    #cp mapred-site.xml.template mapred-site.xml
    #vim mapred-site.xml
    [mapred-site.xml配置如下]
    <?xml version="1.0"?>
    <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
    </configuration>
    
  5. 修改yarn-site.xml配置文件

    #vim yarn-site.xml 
    [yarn-site.xml配置如下]
        <?xml version="1.0"?>
    <configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    </configuration>
    
  6. 修改slaves配置文件

    #vim slaves [slaves配置如下] localhost

  7. 格式化hdfs分布式文件系统

    #hadoop namenode -format
    [root@hadoop-1 hadoop]# hadoop namenode -format
    
    省略--------
    17/05/15 09:29:01 INFO util.ExitUtil: Exiting with status 0
    17/05/15 09:29:01 INFO namenode.NameNode: SHUTDOWN_MSG: 
    /************************************************************
    SHUTDOWN_MSG: Shutting down NameNode at hadoop-1/172.16.1.207
    ************************************************************/
    
  8. 启动hadoop服务

    #start-all.sh
    [root@hadoop-1 hadoop]# start-all.sh
    This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
    Starting namenodes on [localhost]
    The authenticity of host 'localhost (::1)' can't be established.
    ECDSA key fingerprint is da:38:db:62:7e:97:52:6e:11:1b:81:93:1b:a4:b4:e6.
    Are you sure you want to continue connecting (yes/no)? yes
    localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
    localhost: starting namenode, logging to /soft/hadoop-2.7.3/logs/hadoop-root-namenode-hadoop-1.out
    localhost: starting datanode, logging to /soft/hadoop-2.7.3/logs/hadoop-root-datanode-hadoop-1.out
    Starting secondary namenodes [0.0.0.0]
    The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
    ECDSA key fingerprint is da:38:db:62:7e:97:52:6e:11:1b:81:93:1b:a4:b4:e6.
    Are you sure you want to continue connecting (yes/no)? yes
    0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
    0.0.0.0: starting secondarynamenode, logging to /soft/hadoop-2.7.3/logs/hadoop-root-secondarynamenode-hadoop-1.out
    starting yarn daemons
    starting resourcemanager, logging to /soft/hadoop-2.7.3/logs/yarn-root-resourcemanager-hadoop-1.out
    localhost: starting nodemanager, logging to /soft/hadoop-2.7.3/logs/yarn-root-nodemanager-hadoop-1.out
    
  9. 判断是还是不是启动成功

    启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程:   
    [root@hadoop-1 hadoop]# jps
    14784 NameNode
    15060 SecondaryNameNode
    14904 DataNode
    15211 ResourceManager
    15628 Jps
    15374 NodeManager
    如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,
    然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,
    请仔细检查之前步骤,或通过查看启动日志排查原因
    
  10. 登陆WEB查看

    打开http://192.168.10.145:50070
    澳门美高梅手机网站 2

  通过元素窗格:使用键盘或鼠标直接在要素窗格中浏览元素。
  选拔元素:单击“选择元素”工具,然后再网页中点击必要查阅的要素,在要素窗格中会飞快跳转至相应岗位。
  检查元素:右键单击网页中必要查阅的因素,选取”检查元素(Inspect
element)”选项。
  痕迹:BreadCrumb,
在要素窗格尾部显示的印痕线索,可以单击选取要求查阅的元素
  搜索:在工具顶部的检索框中输入部分字符串或CSS采纳器来搜索DOM。

4.2 伪分布式单词总括

  1. 在地面创造目录和剖析的log

    #mkdir  /input
    #cd /input
    #echo "hello world" > file1.log
    #echo "hello world" > file2.log
    #echo "hello hadoop" > file3.log
    #echo "hello hadoop" > file4.log
    #echo "map" > file5.log
    
  2. 在hdfs创造目录和上传本地log

    #hdfs dfs -mkdir -p /input/
    #hdfs dfs -ls /
    Found 1 items
    drwxr-xr-x   - root supergroup          0 2017-06-22 10:29 /input
    #hdfs dfs -put file* /input/
    # hdfs dfs -ls /input/
    Found 5 items
    -rw-r--r--   1 root supergroup         12 2017-06-22 10:32 /input/file1.log
    -rw-r--r--   1 root supergroup         12 2017-06-22 10:32 /input/file2.log
    -rw-r--r--   1 root supergroup         13 2017-06-22 10:32 /input/file3.log
    -rw-r--r--   1 root supergroup         13 2017-06-22 10:32 /input/file4.log
    -rw-r--r--   1 root supergroup          4 2017-06-22 10:32 /input/file5.log
    
  3. 使用自带jar包进行单词计算

    # hadoop jar /soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
    17/05/15 09:48:38 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:8032
    17/05/15 09:48:39 INFO input.FileInputFormat: Total input paths to process : 5
    17/05/15 09:48:40 INFO mapreduce.JobSubmitter: number of splits:5
    17/05/15 09:48:40 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1494855010567_0001
    17/05/15 09:48:40 INFO impl.YarnClientImpl: Submitted application application_1494855010567_0001
    17/05/15 09:48:40 INFO mapreduce.Job: The url to track the job: http://hadoop-1:8088/proxy/application_1494855010567_0001/
    17/05/15 09:48:40 INFO mapreduce.Job: Running job: job_1494855010567_0001
    17/05/15 09:48:48 INFO mapreduce.Job: Job job_1494855010567_0001 running in uber mode : false
    17/05/15 09:48:48 INFO mapreduce.Job:  map 0% reduce 0%
    17/05/15 09:48:59 INFO mapreduce.Job:  map 20% reduce 0%
    17/05/15 09:49:00 INFO mapreduce.Job:  map 80% reduce 0%
    17/05/15 09:49:01 INFO mapreduce.Job:  map 100% reduce 0%
    17/05/15 09:49:06 INFO mapreduce.Job:  map 100% reduce 100%
    17/05/15 09:49:06 INFO mapreduce.Job: Job job_1494855010567_0001 completed successfully
    17/05/15 09:49:06 INFO mapreduce.Job: Counters: 50
                File System Counters
                FILE: Number of bytes read=114
                FILE: Number of bytes written=711875
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=539
                HDFS: Number of bytes written=31
                HDFS: Number of read operations=18
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Killed map tasks=1
                Launched map tasks=5
                Launched reduce tasks=1
                Data-local map tasks=5
                Total time spent by all maps in occupied slots (ms)=48562
                Total time spent by all reduces in occupied slots (ms)=4413
                Total time spent by all map tasks (ms)=48562
                Total time spent by all reduce tasks (ms)=4413
                Total vcore-milliseconds taken by all map tasks=48562
                Total vcore-milliseconds taken by all reduce tasks=4413
                Total megabyte-milliseconds taken by all map tasks=49727488
                Total megabyte-milliseconds taken by all reduce tasks=4518912
        Map-Reduce Framework
                Map input records=5
                Map output records=9
                Map output bytes=90
                Map output materialized bytes=138
                Input split bytes=485
                Combine input records=9
                Combine output records=9
                Reduce input groups=4
                Reduce shuffle bytes=138
                Reduce input records=9
                Reduce output records=4
                Spilled Records=18
                Shuffled Maps =5
                Failed Shuffles=0
                Merged Map outputs=5
                GC time elapsed (ms)=1662
                CPU time spent (ms)=2740
                Physical memory (bytes) snapshot=1523605504
                Virtual memory (bytes) snapshot=12609187840
                Total committed heap usage (bytes)=1084227584
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=54
        File Output Format Counters 
                Bytes Written=31
    
  4. ** 查看结果**

    [root@hadoop-1 ~]# hdfs dfs -cat /output/*
    hadoop  2
    hello   4
    map     1
    world   
    [root@hadoop-1 ~]# hdfs dfs -get /output/*  .
    [root@hadoop-1 ~]# ls
    file1.log  file2.log  file3.log  file4.log  file5.log  part-r-00000  _SUCCESS
    [root@hadoop-1 ~]# cat part-r-00000 
    hadoop  2
    hello   4
    map     1
    

能够运用三种方法来编排元素:

  编辑属性:双击须求编制的性质,通过选项卡浏览属性举行编辑
  添加属性:右键单击元素,选拔丰盛
  作为HTML编辑:右键单击元素,选用“作为HTML编辑”,该因素及其子元素将在边际框内呈现为纯文本,根据你在文书编辑器中的格局编辑文本即可。

澳门美高梅手机网站 3

小心:不可以在DOM Explorer中以HTML格局编辑doctype, html, head, body,
script元素。同时对于改变的因素,可以动用CTRL+Z举办裁撤及CTRL+Y举行复原更改。

能够应用二种办法移动元素:

  拖动DOM节点:直接在要素窗格中拖动元素至想要的任意地方即可。
  剪切/复制和粘贴:使用右键或者键盘即可

小心:请勿使用上下文菜单中的“复制带有样式的要素”选项来运动DOM中的元素,它将富含该因素的HTML文档及其具有有关样式放置在剪切板上,以便粘贴到表面编辑器。

体制窗格

体制窗格有八个选项卡,接下去一一驾驭它们。

样式(Style):

  应用到元素的具有样式以及接纳的体裁属性列表。它将直接面向元素的样式与持续样式分开,并识别继承样式来自什么上级元素。它还是能根据CSS媒体询问检索应用了怎样要素。它可以实时更新,由此,借使你执行了基于窗口宽度的传媒询问,调整窗口大小将改变使用的样式列表,那是因为杰出了不一样的传媒询问。

  能够由此选中或取消选中属性的左手的框来启用或剥夺样式属性。若要编辑规则名称或质量并单击,同时也足以透过右键添加属性或者规则:

    澳门美高梅手机网站 4

已计算(Computed):

  精确总括:所有没有硬编码度量值的属性(如
calc()表明式,百分比,em单位)都在浮现时饱含为其总计的像素值。

  隐式默许值:如下图所示,在a:前面有一个图标,可以选用是不是出示所有样式:

    澳门美高梅手机网站 5

布局(Layout):

  突显用于选定元素定位的框模型图表,选拔的水彩与选定元素杰出展示的颜料一样,能够单击图表中的任意值举行编辑。

    澳门美高梅手机网站 6

事件(Event):

  突显元素的DOM事件或者CSS拔取器,这个选用器选用JavaScript格局分配给它们的处理程序,可以单击文件名以在调试器中突显文件:

    澳门美高梅手机网站 7

改变(Changes):

  由于在DOM
Explorer中可以感受分裂的布局和体裁更改,很容易忘记您所更改的装有内容,此选项卡将突显你在现阶段对话中,对DOM结构和CSS样式举办的改变,原始值和脚下值将使用差别的颜色杰出展现。

  假使您不爱好其中的某部更改,右键单击选用苏醒项目以撤除更改。

    澳门美高梅手机网站 8

接下去回去元素窗格中,看下边这幅图中的五个选拔:

    澳门美高梅手机网站 9

眼前我们说过的“选用元素”,它放在上图中的从左向右第四个,用鼠标单击它即可选用网页上的任意元素,而第一个回字形是高亮当选的元素在页面的来得,如下图所示:

    澳门美高梅手机网站 10

而第多少个则是接下去必要介绍的水彩接纳器,它使得大家在DOM
Explorer中选择或捕获颜色越发简单。

水彩选择器可以在二种格局下运作:

  单机方式:单击DOM
Explorer顶部的取色器图标,在此格局下,能够选取鼠标良好浮现颜色值并复制它们用于代码的其他职位。
  集成方式:单击样式窗格中的样式颜色旁边的色块,选取某种颜色后,将替换原始颜色。

    澳门美高梅手机网站 11

DOM
Explorer到此地早已要适可而止了,一般对于UI测试的测试人士来说,用得最多的也是DOM
Explorer,且对Web举行自动化测试代码的编写时,也须要动用它来赢得页面元素值,
然后对其开展对应的认证以及操作,因而,熟习这一块是很有须求的,所幸,要想打听这一块,也是比较不难的。下一篇小说,将介绍控制台工具。

发表评论

电子邮件地址不会被公开。 必填项已用*标注