Spark的运作模式(1)–Local和Standalone

用作Hadoop程序员,他如举行的业务就是:

Spark一共来5栽运行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。

1、定义Mapper,处理输入的Key-Value对,输出中间结果。
2、定义Reducer,可摘,对中等结果进行规,输出最终结出。
3、定义InputFormat
和OutputFormat,可选,InputFormat将每行输入文件之情节转换为Java类供Mapper函数使用,不定义时默认为String。
4、定义main函数,在其间定义一个Job并运行它们。

1. Local

Local模式就是单机模式,如果当命令语中莫加任何配置,则默认是Local模式,在地面运行。这为是部署、设置极端简便易行的相同栽模式

下一场的作业就是交给系统了。

2. Standalone

Standalone是Spark自身实现的资源调度框架。如果我们只有利用Spark进行充分数量计算,不利用外的盘算框架(如MapReduce或者Storm)时,就下Standalone模式。

Standalone模式之配备于繁琐,需要拿Spark的布确保安装到各级一样贵节点机器及,并且配备的目录为不能不一致,而且要Master节点和其它节点落实SSH无密码登录。启动时,需要先启动Spark的Master和Slave节点。

澳门美高梅手机网站 1

里面master:7077是Spark的Master节点的主机名与端口号。

1.基本概念:Hadoop的HDFS实现了google的GFS文件系统,NameNode作为文件系统的承负调度运行在master,DataNode运行在每个机器及。同时Hadoop实现了Google的MapReduce,JobTracker作为MapReduce的总调度运行在master,TaskTracker则运行于每个机器及执行Task。

2.main()函数,创建JobConf,定义Mapper,Reducer,Input/OutputFormat
和输入输出文件目录,最后将Job提交給JobTracker,等待Job结束。

3.JobTracker,创建一个InputFormat的实例,调用它的getSplits()方法,把输入目录的文本拆分成FileSplist作为Mapper
task 的输入,生成Mapper task加入Queue。

4.TaskTracker 往 JobTracker索求下一个Map/Reduce。

Mapper
Task先从InputFormat创建RecordReader,循环读入FileSplits的始末好成Key与Value,传被Mapper函数,处理完毕后中结果写成SequenceFile.
Reducer Task
从运行Mapper的TaskTracker的Jetty上使用http协议得到所要的中间内容(33%),Sort/Merge后(66%),执行Reducer函数,最后以OutputFormat写副结果目录。

TaskTracker
每10秒为JobTracker报告同样蹩脚运行情况,每完成一个Task10秒后,就会见朝JobTracker索求下一个Task。

Nutch项目之总体数据处理都构建以Hadoop之上,详见Scalable Computing with
Hadoop 。

老二、程序员编写的代码

咱开一个简短的分布式的Grep,简单对输入文件进行逐行的正则匹配,如果符合就以该行打印及输出文件。因为是简约的全部输出,所以我们若写Mapper函数,不用写Reducer函数,也不用定义Input/Output
Format。

package demo.hadoop

public class HadoopGrep {

public static class RegMapper extends MapReduceBase implements Mapper {

private Pattern pattern;

public void configure(JobConf job) {
pattern = Pattern.compile(job.get( ” mapred.mapper.regex ” ));
}

public void map(WritableComparable key, Writable value, OutputCollector
output, Reporter reporter)
throws IOException {
String text = ((Text) value).toString();
Matcher matcher = pattern.matcher(text);
if (matcher.find()) {
output.collect(key, value);
}
}
}

private HadoopGrep () {
} // singleton

public static void main(String[] args) throws Exception {

JobConf grepJob = new JobConf(HadoopGrep. class );
grepJob.setJobName( ” grep-search ” );
grepJob.set( ” mapred.mapper.regex ” , args[ 2 ]);

grepJob.setInputPath( new Path(args[ 0 ]));
grepJob.setOutputPath( new Path(args[ 1 ]));
grepJob.setMapperClass(RegMapper. class );
grepJob.setReducerClass(IdentityReducer. class );

JobClient.runJob(grepJob);
}
}

RegMapper类的configure()函数接受由main函数传入的物色字符串,map()
函数进行正则相当,key是行数,value是文件实施的情,符合的公文行放入中间结果。
main()函数定义由命执行参数传入的输入输出目录及匹配字符串,Mapper函数为RegMapper类,Reduce函数是呀还不做,直接把高中级结果输出及最后结果的之IdentityReducer类,运行Job。

一切代码非常简单,丝毫无分布式编程的旁细节。

三.运行Hadoop程序

Hadoop这上头的文档写得无圆满,综合参考GettingStartedWithHadoop 与Nutch
Hadoop Tutorial 两首后,再点了许多钉子才总算圆的飞起了,记录如下:

3.1 local运行模式

净无开展其他分布式计算,不动其他namenode,datanode的做法,适合一初步开调试代码。
解压hadoop,其中conf目录是布局目录,hadoop的布文件在hadoop-default.xml,如果如修改配置,不是直接改动该文件,而是修改hadoop-site.xml,将该属性在hadoop-site.xml里再赋值。
hadoop-default.xml的默认配置都是local运行,不用另外修改,配置目录里唯一要修改的是hadoop-env.sh
里JAVA_HOME 的位置。

将编译好之HadoopGrep与RegMapper.class
放入hadoop/build/classes/demo/hadoop/目录
找一个比老的log文件放入一个目,然后运行

hadoop / bin / hadoop demo.hadoop.HadoopGrep log文件所在目录
任意的出口目录 grep的字符串

翻开输出目录的结果,查看hadoop/logs/里的运行日志。 
以更运行前,先删掉输出目录。

3.2 单机集群运行模式

本来搞一下光来单机的汇群.假设为形成3.1遭遇之安,本机名吧hadoopserver
第1步. 然后修改hadoop-site.xml ,加入如下内容:

< property > 
< name > fs.default.name </ name > 
< value > hadoopserver:9000 </ value > 
</ property > 
< property > 
< name > mapred.job.tracker </ name > 
< value > hadoopserver:9001 </ value > 
</ property > 
< property > 
< name > dfs.replication </ name > 
< value > 1 </ value > 
</ property >

自此就以运行从local文件系统转向了hadoop的hdfs系统,mapreduce的jobtracker也从local的过程内操作成了分布式的天职系统,9000,9001零星单端口号是无论选的有数只缺损余端口号。

除此以外,如果您的/tmp目录不足够充分,可能还要修改hadoop.tmp.dir属性。

第2步. 增加ssh不输入密码即可登陆。

以Hadoop需要不用输入密码的ssh来进行调度,在不su的状态下,在融洽的home目录运行ssh-keygen
-t rsa ,然后同回车生成密钥,再进入.ssh目录,cp id_rsa.pub
authorized_keys
详尽可man 一下ssh, 此时实施ssh
hadoopserver,不欲输入外密码就可知跻身了。

3.格式化namenode,执行
bin/hadoop namenode -format

4.启动Hadoop
尽hadoop/bin/start-all.sh,
在本机启动namenode,datanode,jobtracker,tasktracker

5.现拿用搜的log文件放入hdfs,。
履行hadoop/bin/hadoop dfs 可以望她所支撑之文书操作指令。
实施hadoop/bin/hadoop dfs put log文件所在目录 in
,则log文件目录已放入hdfs的/user/user-name/in 目录中

6.现在来执行Grep操作
hadoop/bin/hadoop demo.hadoop.HadoopGrep in out
翻开hadoop/logs/里的运行日志,重新履行前。运行hadoop/bin/hadoop dfs rmr
out 删除out目录。

7.运行hadoop/bin/stop-all.sh 结束

3.3 集群运行模式
使已推行了3.2之布置,假要第2贵机器名是hadoopserver2
1.创和hadoopserver同样的施行用户,将hadoop解压到均等之目。

2.一致的修改haoop-env.sh中之JAVA_HOME 及改及3.2同等的hadoop-site.xml

  1. 将hadoopserver中的/home/username/.ssh/authorized_keys
    复制到hadoopserver2,保证hadoopserver可以不用密码登陆hadoopserver2
    scp /home/username/.ssh/authorized_keys
    username@hadoopserver2:/home/username/.ssh/authorized_keys 

4.修改hadoop-server的hadoop/conf/slaves文件,
增加集群的节点,将localhost改吗
hadoop-server
hadoop-server2

5.在hadoop-server执行hadoop/bin/start-all.sh
将会在hadoop-server启动namenode,datanode,jobtracker,tasktracker
在hadoop-server2启动datanode 和tasktracker

6.现在来施行Grep操作
hadoop/bin/hadoop demo.hadoop.HadoopGrep in out
又履行前,运行hadoop/bin/hadoop dfs rmr out 删除out目录

7.运行hadoop/bin/stop-all.sh 结束。

 

运城互联网论坛地址:http://www.dmyc8.com/forum-104-1.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注