【转】Windows(server2010)下接纳VisualSVN Server搭建SVN服务器

参考文献

Hadoop实战实例

1、Windows下行使VisualSVN
Server搭建SVN服务器(百度经历)
 
挺好正是从未配图已表明可用

 

2、在Windows Server
二零零六上安排SVN代码管理器 

    
Hadoop 是Google MapReduce的五个Java完结。MapReduce是一种简化的分布式编制程序方式,让程序自动分布到一个由一般性机器组成的超大集群上出现执行。就如同java程序员能够不考虑内部存款和储蓄器败露一样, MapReduce的run-time系统会化解输入数据的遍布细节,跨越机器集群的程序执行调度,处理机器的失灵,并且管理机器之间的简报告请示求。那样的形式允许程序员能够不供给有何样并发处理大概分布式系统的经历,就能够处理超大的分布式系统得能源。

把首个给拷贝过来 有截图方便看

一、概论

    作为Hadoop程序员,他要做的事体便是:
    壹 、定义Mapper,处理输入的Key-Value对,输出中间结果。
    ② 、定义Reducer,可选,对中等结果开始展览规约,输出最后结果。
    叁 、定义InputFormat 和OutputFormat,可选,InputFormat将每行输入文件的始末转换为Java类供Mapper函数使用,不定义时暗中同意为String。
    四 、定义main函数,在其间定义3个Job并运维它。
    

    然后的工作就付出系统了。
    1.基本概念:Hadoop的HDFS落成了google的GFS文件系统,NameNode作为文件系统的承负调度运维在master,DataNode运营在种种机器上。同时Hadoop完毕了谷歌(Google)的MapReduce,JobTracker作为MapReduce的总调度运维在master,TaskTracker则运转在每一个机器上执行Task。

    2.main()函数,创设JobConf,定义Mapper,Reducer,Input/OutputFormat 和输入输出文件目录,最终把Job提交给JobTracker,等待Job截止。

    3.JobTracker,成立三个InputFormat的实例,调用它的getSplits()方法,把输入目录的公文拆分成FileSplist作为Mapper task 的输入,生成Mapper task到场Queue。

    4.TaskTracker 向 JobTracker索求下3个Map/Reduce。
      
     Mapper Task先从InputFormat创设RecordReader,循环读入FileSplits的剧情生成Key与Value,传给Mapper函数,处理完后中间结果写成SequenceFile.
     Reducer Task 从运营Mapper的TaskTracker的Jetty上使用http协议得到所需的中档内容(33%),Sort/Merge后(66%),执行Reducer函数,最后遵照OutputFormat写入结果目录。 

      TaskTracker 每10秒向JobTracker报告三次运市价况,每实现二个Task10秒后,就会向JobTracker索求下一个Task。

      Nutch项指标全体数码处理都营造在Hadoop之上,详见Scalable Computing with Hadoop

 

贰 、程序员编写的代码

服务器环境:

 (能够查看hadoop-examples-0.20.203.0.jar,里面也有1个类grep)

    我们做三个简约的分布式的Grep,不难对输入文件进行逐行的正则匹配,如若符合就将该行打字与印刷到输出文件。因为是大致的成套输出,所以我们只要写Mapper函数,不用写Reducer函数,也不用定义Input/Output Format。

  1. package  demo.hadoop  
  2. public   class  HadoopGrep {  
  3.      public   static   class  RegMapper  extends  MapReduceBase  implements  Mapper {  
  4.                private  Pattern pattern;  
  5.                public   void  configure(JobConf job) {  
  6.                          pattern  =  Pattern.compile(job.get( ” mapred.mapper.regex ” ));  
  7.               }  
  8.               public   void  map(WritableComparable key, Writable value, OutputCollector output, Reporter reporter)  
  9.                      throws  IOException {  
  10.                          String text  =  ((Text) value).toString();  
  11.                          Matcher matcher  =  pattern.matcher(text);  
  12.                        if  (matcher.find()) {  
  13.                         output.collect(key, value);  
  14.              }  
  15.     }  
  16.  }  
  17.   
  18.   private  HadoopGrep () {  
  19.  }  //  singleton   
  20.   
  21. public   static   void  main(String[] args)  throws  Exception {  
  22.   JobConf grepJob  =   new  JobConf(HadoopGrep. class );  
  23.   grepJob.setJobName( ” grep-search ” );  
  24.   grepJob.set( ” mapred.mapper.regex ” , args[ 2 ]);  
  25.   
  26.   grepJob.setInputPath( new  Path(args[ 0 ]));  
  27.   grepJob.setOutputPath( new  Path(args[ 1 ]));  
  28.   grepJob.setMapperClass(RegMapper. class );  
  29.   grepJob.setReducerClass(IdentityReducer. class );  
  30.   JobClient.runJob(grepJob);  
  31.  }  
  32. }  

         
RegMapper类的configure()函数接受由main函数传入的物色字符串,map() 函数进行正则匹配,key是行数,value是文本行的始末,符合的文本行放入中间结果。
        main()函数定义由命令行参数字传送入的输入输出目录和匹配字符串,Mapper函数为RegMapper类,Reduce函数是怎样都不做,直接把高级中学级结果输出到结尾结果的的IdentityReducer类,运转Job。

成套代码非凡不难,丝毫不曾分布式编制程序的其余细节。

操作系统:Windows Server 二〇一〇 64 Bit;

三.运行Hadoop程序

        Hadoop那方面包车型地铁文书档案写得不全面,综合参考GettingStartedWithHadoop 与Nutch Hadoop Tutorial 两篇后,再碰了重重钉子才算是完全的跑起来了,记录如下:     
3.1 local运营情势
       完全不开始展览其余分布式总结,不选择别的namenode,datanode的做法,适合一起首做调试代码。
       解压hadoop,当中conf目录是安排目录,hadoop的配备文件在hadoop-default.xml,假若要修改配置,不是一贯改动该公文,而是修改hadoop-site.xml,将该属性在hadoop-site.xml里再一次赋值。
       hadoop-default.xml的暗许配置已经是local运营,不用别的改动,配置目录里唯一必须修改的是hadoop-env.sh 里JAVA_HOME的位置。
       将编写翻译好的HadoopGrep与RegMapper.class 放入hadoop/build/classes/demo/hadoop/目录 

       
只怕编译成jar包HadoopGrep.jar放入hadoop/build/classes/demo/hadoop/目录

        找1个相比较大的xx.log文件放,然后运营

        bin/hadoop demo.hadoop.HadoopGrep  input   /tmp/out  “[a-b]”
        (jar包运行:bin/hadoop jar HadoopGrep.jar  HadoopGrep  input  
/tmp/output  “[a-b]” )
        说明:
         input  为xx.log文件所在目录 
         /tmp/output为出口目录 
         “[a-b]”   grep的字符串 

        查看输出目录的结果,查看hadoop/logs/里的运维日志。  
        在再度运转前,先删掉输出目录。
  

  3.2 集群运维情势

   
(查看集群配置:http://blog.csdn.net/hguisu/article/details/7237395)

      1 )执行bin/hadoop dfs 能够见见它所协理的文件操作指令。   

      2) 创制目录输入inpu:   
           $ bin/hadoop dfs -mkdir input    

      3)上传文件xx.log到钦赐目录 input :   
           $ bin/hadoop dfs -put xx.log input

       4 )  执行 bin/hadoop demo.hadoop.HadoopGrep input  output
             (jar包运行:bin/hadoop jar HadoopGrep.jar  HadoopGrep 
input   /tmp/output  “[a-b]” )

       5 ) 查看输出文件:

 

           将出口文件从分布式文件系统拷贝到本半夏件系统查看:
            $ bin/hadoop fs -get output output
            $ cat output/*

            或者
            在分布式文件系统上查看输出文件:
            $ bin/hadoop fs -cat output/*

            重新履行前,运行hadoop/bin/hadoop dfs -rm
output删除output目录

       7.运行hadoop/bin/stop-all.sh 结束。
    

SVN服务器端程序:VisualSVN-Server-3.6.1-x64;(http://www.visualsvn.com/

四、效率

    经测试,Hadoop并不是万用灵丹,很在乎文件的轻重缓急和数目,处理的复杂度以及群集机器的多寡,相连的带宽,当以上四者并一点都不大时,hadoop优势并不强烈。
    比如,不用hadoop用java写的简便grep函数处理100M的log文件只要4秒,用了hadoop local的办法运营是14秒,用了hadoop单机集群的点子是30秒,用双机集群10M网口的话更慢,慢到倒霉意思说出去的境地。

小编的下载地址:VisualSVN Server的下载地址
 http://www.visualsvn.com/server/download/

客户端环境:

操作系统:Windows 7 64Bit;

SVN客户端程序:

TortoiseSVN-1.9.4.27285-x64-svn-1.9.4.msi;

LanguagePack_1.9.4.27285-x64-zh_CN.msi(汉语汉化包)(https://tortoisesvn.net/downloads.html

 我的下载地址:http://tortoisesvn.net/downloads.html

服务器安装

其设置图解与VisualSVN Server 2.1.5均等,以下附上VisualSVN
Server2.1.5安装图解。

第一步

图片 1

安装软件版本:VisualSVN-Server-2.1.5.msi,右击安装软件,单机”安装”:

图片 2

第二步

单击【Next】:

图片 3

第三步

选择”I accept the terms in the License Agreement”,然后单击【Next】:

图片 4

第四步

本条界面是选项设置的零部件,选取第②个”VisualSVN Server and Management
Console”就能够了,如图:

图片 5

 

第五步

那是安装页面,可以变动目录,也足以更改端口,注意,端口不要和已经选取的端口争执,去掉”use
secure connnection
https://"的选项,这里的F:\\Repositories是服务器文档目录,也就是我们提交到SVN里的文档的存放目录,这个目录是可以更改的:

图片 6

第六步

点击【Install】按钮:

图片 7

第七步

正在开始展览设置:

图片 8

第八步

点击【Finish】按钮:

图片 9

第九步

设置到位,地方:起初–>程序->VisualSVN–>VisuaSVN Server
Manager运行服务器管理器。创立急忙方式,如图:

图片 10

 

服务器端配置

第一步

点击开首–>程序->VisualSVN–>VisuaSVN Server
Manager运营服务器管理器,右键采纳VisualSVN
Server(Local),采取Properties,

图片 11

 

第二步

在弹出窗口中甄选NetWork标签,在ServerName处输入本机的IP地址,小编的地点为192.168.2.235,端口作者选用8080.,分明保存,再点击VisualSVN
Server可以看来左侧的界面,大家的拜访地址就是Sever U大切诺基L
http://192.168.2.235:8080/svn

 

图片 12

第三步

当今我们新建二个目录,右键选取Repositories,选取Create new
Repository,输入名字document,保存:

图片 13

 

第四步

新建用户,右键选拔 Users,采纳Create
User,输入用户密码test,test,那一个口令将在客户端连接SVN服务器时使用,为刚刚创制的document
Repository添加用户,右键采纳document,选用Properties,点击Add按钮,选拔刚才添加的用户,保存,如图:

图片 14

第五步

劳务器端就计划好了,用户可以由此客户端进行走访……

 

 

客户端配置

 

1、安装TortoiseSVN-1.9.4.27285-x64-svn-1.9.4.msi;

LanguagePack_1.9.4.27285-x64-zh_CN.msi(普通话汉化包)(https://tortoisesvn.net/downloads.html
);

② 、实现后在桌面空白处右键,能够观察多出了有个别事物(若没有,先重启下电脑):

 

图片 15

挑选版本库浏览器(Repo-browser),在弹出的对话框中输入你的代码管理服务器地址,

图片 16

链接后方可看出:

图片 17

(以后阅览标是已上传程序的SVN
Browser,一早先没有那个事物,要求自个儿上传代码文件)

叁 、上传代码文件,在急需上传的代码上单击右键,选用TortoiseSVN->Import…选项,如下图所示:

图片 18

上传文件如下图所示:

图片 19

发表评论

电子邮件地址不会被公开。 必填项已用*标注