澳门美高梅手机网站单机搭建WinCE开发环境(续)

点击“属性”后弹出之对话框而下图所出示,点击“仿真器选项”,进行安排,就不一一介绍了,根据自己的需要开展设定。配置好之后,下次重新起Device Emulator Manager中连此模拟器时就默认使用这里的安排起,无须再对那个进展安排,省点时间。

5.2.4 修改mapred-site.xml

若没 mapred-site.xml
该公文,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

改者新建的mapred-site.xml文件,在节点内进入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

 
最后加说明一下,你可以从开始\程序\Microsoft Visual Studio 2005\Visual Studio Remote
Tools中找到这个能用的6.0版的Remote Tools。所以是否说明按照VS2005揭晓的6.0之Remote Tools是真的可用之6.0本子,而随Platform Builder 6.0发布的则免是吗?

次、服务器的有关安排

当配置Hadoop+Spark整合前,应该先行开一下配备。
做这些安排为有利于,使用root权限。

澳门美高梅手机网站 1

2,配置文件更改

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 索引下

澳门美高梅手机网站 2

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Scala:2.12.2 (scala-2.12.2.tgz)
Spark: 1.6 (spark-1.6.3-bin-hadoop2.4-without-hive.tgz)

于调试程序时,难免要就此到长途工具。前段时间在调节2410开始发板的WinCE6.0时就算发现远程工具发出一部分有点问题,需要手动去改变文件才会就此。今天以测试模拟器时同时遇了新情景。按理来说,已经联手上了,那了可用ActiveSync来做连接。但测试发现从不行,截图如下,提示说”Unable to load device side components”。

1,服务器选择

当地虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

澳门美高梅手机网站 3 

1, 文件准备

将生充斥好之Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

然后倒到/opt/scala 里面
而又命名为scala2.1
输入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.1

以前用EVC中4.0版本的Remote Tools连接WinCE5.0之设备时也起如此的场面。难道是Remote Tools的版不对?查看了版本的信,确实是6.0之,这不过出乎意料了。

六、Spark启动

启航spark要保证hadoop已经成功启动
先是利用jps命令查看启动的顺序
以成启动spark之后,再使jps命令查看
切换到Spark目录下
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/sbin

接下来启动Spark
输入:

 start-all.sh

澳门美高梅手机网站 4

然后以浏览器输入
http://192.168.219.128:8080/

然显示该界面,则启动成功
澳门美高梅手机网站 5

横流:如果spark成功启动,但是无法访问界面,首先检查防火墙是否关闭,然后以用jps查看过程,如果还并未问题之,一般就好看界面。如果还是坏,那么检查hadoop、scala、spark的布置。

那本文到此结束,谢谢阅读!
如若觉得不错,可以点击一下称或者引进。

版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
村办博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!

难道不克就此Microsoft ActiveSync?那还尝试看网络的连天,把CEMGRC等三只文件手动拷贝到模拟器里面,并运行了扳平添加串的一声令下,测试连接通过了,可当真连接时又好,弹出如下提示框。

2,环境布置

编辑 /etc/profile 文件
输入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

澳门美高梅手机网站 6

输入:

source  /etc/profile

设配置生效

无论如何,我们当单机上搭建之WinCE开发条件而重新近乎真实一点了。

3,Hadoop启动

流淌:如果已经打响安排了便绝不了
起步前用先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启航成功后,输入jsp查看是否启动成功
于浏览器输入 ip+8088 和ip +50070 界面查看是否能够访问
克科学访问则启动成功

澳门美高梅手机网站 7

5.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为友好之JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

高达同样篇就详细介绍了争以主机及搭建WinCE开发条件,说白了便经过PB6.0导出一个SDK给VS2005之所以,似乎VS2008啊可为此这个SDK。据说做系统的开要用VS2005+PB6.0,而使的支付是得据此VS2008的。机器及从不装VS2008,所以无克测试了。不管怎样,我们都闹矣一个模拟器代替实验板,可以用这个模拟器来调试程序了。

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

安排文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

连天,等待,Downloading Bitmap,果然可以!再比一下立刻片只版到底哪不一样。

老三、Spark的条件布置

澳门美高梅手机网站 8

3,关闭防火墙

关闭防火墙,方便外部看。
CentOS 7版本以下输入:
关防火墙

service   iptables stop

CentOS 7 以上之版输入:

systemctl stop firewalld.service

以前都在C:\Program Files的目录下观看了一个CE Remote Tools的目,这里面放的应有为是长途工具吧。进去看看,果然有几乎独。但正如目录C:\Program Files\Common Files\Microsoft Shared\Windows
CE Tools\Platman\bin\wce500下的少多了,文件称也不大一样。不是盖CE打头,而是用CC打头。打开看看再说,跟原先为此之Remote Zoomin还真不平等!左边是初开辟的,而右边是起PB6.0中的Remote Tools中开拓的。看起便觉着左边的双重依靠谱,毕竟能够收看咱们好之模拟器。

5.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

虽然是模拟器,但核心的外围设备都产生矣,包括网络、Storage Card、调试串口,也支撑并。在动模拟器的进程中发现一个略带技巧。如果由Device Emulator Manager中连接到该模拟器,则每次都必须重新安装网络及共享目录等情节。这虽非极端累,但其实是可以同劳永逸的,不必每次都来安。方法如下,打开VS2005——工具——选项——设备工具——设备,到如下图所示界面,注意红色框里的挑项,最后点击“属性”。

4,时间设置

输入:

date

查服务器时间是否一致,若不均等则反
改变时间命令

date -s ‘MMDDhhmmYYYY.ss’

澳门美高梅手机网站 9

1,文件准备

Spark有个别种,下载的地方都让了,一栽是纯净版的spark,一种植是并了hadoop以及hive的本。本文使用的是亚栽
以下充斥好的Spark文件解压
输入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

接下来倒到/opt/spark 里面,并重命名
输入

mv  spark-1.6.3-bin-hadoop2.4-without-hive  /opt/spark
mv  spark-1.6.3-bin-hadoop2.4-without-hive  spark1.6-hadoop2.4-hive

澳门美高梅手机网站 10

且改为找茬的娱乐了,除了本都是6.00他,还当真来为数不少免平等的地方。^_^我死去活来奇怪为什么会有之差距,两个都是6.0呀!再试别的工具,也未尝问题。能用之连日性设置如下图所示,我们可以看其并没有用ActiveSync或者网络进行连续,所以可以无用失去安排模拟器的网卡,也非用以及主机同步。

引言

每当高达一样篇中 怪数量上系列的五 —–
Hive整合HBase图文详解
: http://www.panchengming.com/2017/12/18/pancm62/
中用Hive整合HBase,并且测试成功了。在事先的非常数量上系列之一 —–
Hadoop环境搭建(单机) :
http://www.panchengming.com/2017/11/26/pancm55/
中成功的搭建了Hadoop的条件,本文主要讲的凡Hadoop+Spark
的环境。虽然搭建之是单机版,但是改成集群版的也相当容易,这点下会刻画关于Hadoop+Spark+HBase+Hive+Zookeeper
等集群的连锁说明的。

澳门美高梅手机网站 11

2,环境布置

编辑 /etc/profile 文件
输入:

export SCALA_HOME=/opt/scala/scala2.1
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source  /etc/profile

如配置生效
输入 scala -version 查看是否安装成功

澳门美高梅手机网站 12

澳门美高梅手机网站 13

3,更改配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf

其三、Scala环境布置

坐Spark的安排依赖以及Scala,所以先使配置Scala。
Scala的配置

4.3.1 修改 spark-env.sh

每当conf目录下,修改spark-env.sh文件,如果无 spark-env.sh
该公文,就复制spark-env.sh.template文件并重命名为spark-env.sh。
改者新建的spark-env.sh文件,加入配置:

export SCALA_HOME=/opt/scala/scala2.1    
export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=1G 

澳门美高梅手机网站 14
流淌:上面的路径为投机的吧遵循,SPARK_MASTER_IP为主机,SPARK_EXECUTOR_MEMORY也安的运转内存。

1,更改主机名

率先更改主机名,目的是为方便管理。
查看本机的名
输入:

hostname 

改变本机名称
输入:

hostnamectl set-hostname master

流淌:主机名称改变后,要又开(reboot)才见面收效。

五、Hadoop环境布置

Hadoop的求实部署在挺数目上系列之一 —–
Hadoop环境搭建(单机)
: http://www.panchengming.com/2017/11/26/pancm55
中介绍得生详细了。所以本文就大概介绍一下。
流淌:具体部署为协调的也以。

3,下载地址

官网地址:
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Spark:
http://spark.apache.org/downloads.html
Hive on Spark (spark集成hive的版本)
http://mirror.bit.edu.cn/apache/spark/
Scala:
http://www.scala-lang.org/download

百度云:
链接:https://pan.baidu.com/s/1geT3A8N 密码:f7jb

5.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

平、环境选择

2,主机与IP做涉嫌映射

改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
长机的ip 和 主机名称

192.168.219.128 master

发表评论

电子邮件地址不会被公开。 必填项已用*标注