kafka+zookeeper环境配置(linux环境单机版)

版本:2017-12-14

它们是mongodb的一个子模块,使用GridFS可以因mongodb来始终如一存储文件.并且协助分布式应用(文件分布存储和读取).GridFS是mongodb中用户存储大目的的家伙,对于mongodb,BSON格式的数码(文档)存储有尺寸限制,最可怜呢16M.不过于事实上系统出被,日常会合爆发上传图片或文件之法力,这些文件或者尺寸会很大..我们得以借Gridfs来提携实现这几个文件之管理.

CentOS-6.5-x86_64

Mongo GFS的文件表是由于 表名.files和 表名.chunks
构成,前者是文本信息整合,后者是文件的情,两者通过_id与files_id建立关系。

zookeeper-3.4.6

GridFS会将生文件对象分割成三只小之chunk(文件片段),一般为256k/独,每个chunk将用作mongodb的一个文档(document)被储存在chunks集合中..gridfs模块会为每个文件创设chunks和files信息.每个文件之实在内容为有chunks(二进制数据)中,和文书有关的meta数据(filename,content_type,还有用户从定义之习性)将会见被有files集合中.files集合中之文档就是BSON格式,可以使mongodb的目等等特色,当然可以对files文档做多少解析。

kafka_2.10-0.10.1.0

使用意况:如若您的系发生如下情景

 参考  http://blog.csdn.net/jingshuigg/article/details/24439637

1)
有恢宏的上传图片(用户上传或者系统本身的文件发布等)

一.zookeeper下载及安装

2)
文件之量级处于连忙增长,有或从到单机操作系统自己之文件系统的询问性能瓶颈,甚至超单机硬盘的扩容范围.

1)下载

3)
文件的备份(不适用gridfs这种三在也得进行,可是不尽方便),文件系统访问的故障转移和修复..

 

4)
文件的索引,存储除文件本身以外还需要关联更多之第一数据音讯(比如,不仅仅存储文件,还要保存有文书的揭橥式作者/公布时/文件tag属性等等自定义信息)并且需要索引的…

$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

5)
基于4),对文本之归类模糊,假若应用操作系统的文件系统,文件夹分类关系混乱或者不可能归类时..

2)解压

6)
当前网是遵照web的,对图纸的访依照url了平整路由的..(普通文件系统也可)

 

7) 文件尺寸较小,而且许多,且文件发出或吃搬/删除等..

 

脚是有限独PPT,对MongoDB的GridFS都开了介绍,包括了GridFS相对于人情文件系统存储,网络文件系统存储的优势。尽管情相似,但介绍道不同。推荐给我们。

tar zxvf zookeeper-3.4.6.tar.gz

Gridfs and
MongoDB

3)配置

View more presentations from Mitch
Pirtle

 

Grid FS

 

View more presentations from Chris
Powers

cd zookeeper-3.4.6

cp -rf conf/zoo_sample.cfg conf/zoo.cfg

vim zoo.cfg

MongoDB
gridfs

zoo.cfg:

View more
PowerPoint
from Xue Wei

 

动用Mongodb存储上传物理文件并开展SQUID加速(基于aspx页面)

 

Mongodb亿级数据量的属性测试

dataDir=/opt/zookeeper-3.4.6/zkdata #这个目录是预先创建的

dataLogDir=/opt/zookeeper-3.4.6/zkdatalog   #这个目录是预先创建的

MongoDB资料汇总专题

请参考zookeeper

http://www.oschina.net/question/12_29127

 

据悉MongoDB
GridFS的图样存储

**4)配置环境变量
**

按照MongoDB GridFS的文件存储策略

ZOOKEEPER_HOME=/opt/zookeeper-3.4.6

 

PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKEEPER_HOME/lib:

 

5)启动zookeeper

 

$ sh zkServer.sh start

 

 

二.生充斥而安装kafka

1).下载kafka:

 

wget http://apache.fayea.com/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz

2) 解压:

澳门美高梅手机网站, 

 

tar -zxvf kafka_2.10-0.10.0.1.tgz

3) 配置:

上kafka安装工程根目录编辑config/server.properties

server.properties配置属性表达

log.dirs=/opt/kafka_2.10-0.10.1.0/kafka_log(提前创制)

listeners=PLAINTEXT://kafka所于机器ip地址:9092

(我这里用的凡本地 localhost)

 

 

4)启动kafka

$ sh bin/kafka-server-start.sh config/server.properties &

#这边我总来得启动报错。

**把

kafka_2.10-0.10.1.0 /config/
server.properties里**

*broker.id=0修改broker.id=1*
**

 

 

开行成功 

 

 

 

备注:挂及后台使用

检测2181与9092端口
netstat -tunlp|egrep "(2181|9092)"

5)新建一个TOPIC

 

$ sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

 

$ ./kafka-topics.sh --list --zookeeper 192.168.61.135:2181  --查看所有topic

 

 

$ ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic logTopic100  --查看指定topic

 

 

 

 

6) 把KAFKA的劳动者启动起来:

 

$ sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic

 

 

7)另起一个终端,把顾客启动起来:

 

$ sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

(--from beginning 是从头开始消费,不加则是消费当前正在发送到该topic的消息)

 

8)使用

以殡葬信息之巅峰输入aaa,则足以于花新闻的顶点显示

发表评论

电子邮件地址不会被公开。 必填项已用*标注