HBase的下载、安装与布置澳门美高梅手机网站

条件布署

  1. logstash 插件安装
  2. logstash将Kafka中的日志数据订阅到HDFS

申明:小编原创,转发评释出处。

作者:帅气陈吃苹果

基本常识

  1. logstash读取kafka数据插件

  2. 单机启动3节点伪分布式es集群
    bin/elasticsearch
    bin/elasticsearch bin/elasticsearch -Ehttp.port=8200 -Epath.data=node2
    bin/elasticsearch -Ehttp.port=7200 -Epath.data=node3

  3. 为防止同一集群指定集群名启动
    bin/elasticsearch -Ecluster.name=sniff_search -Ehttp.port=8200 -Epath.data=sniff_search

  4. Kibana启动
    bin/kibana -e http://127.0.0.1:9200 -p 5601

  5. filebeat解析nginx日志
    head -n 2 /opt/tmp/nginx_logs | ./filebeat -e -c /opt/tmp/nginx.yml

  6. packetbeat启动
    sudo ./packetbeat -e -c sniff_search.yml -strict.perms=false

  7. logstash解析nginx日志
    head -n 2 nginx_logs | bin/logstash -f config/nginx_logstash.conf

(一)安装

下载、解压:

wget http://mirror.bit.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz

tar -zxvf hbase-1.3.1.tar.gz -C /root/hadoop/

Debug

  1. CentOS release 6.7 启动 elasticsearch
    报错

修改elasticsearch.yml 添加一下内容

bootstrap.memory_lock: false
bootstrap.system_call_filter: false
  1. don’t run elasticsearch as
    root.

应用非root账户进行启动es

  1. elasticsearch环境搭建的局地标题

(二)配置

cd $HBASE_HOME/conf

P.K.

ELK 品质(1) — Logstash
质量及其代表方案

vim hbase-site.xml
1)单机格局
<!-- 指定HRegion服务器的位置,即数据存放位置  -->
<property>
    <name>hbase.rootdir</name>
    <value>file:///tmp/hbase-${user.name}/hbase</value>
</property>
2)伪分布式方式
<!-- 指定HRegion服务器的位置,即数据存放位置  -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
</property>
<!-- 指定HLog和Hfile的副本个数  -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
3)完全分布式情势
<!--  指定HRegion服务器的位置,即数据存放位置 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
<!-- 指定HBase运行模式,false表示单机模式或伪分布式,true表示完全分布式模式  -->
<property>
    <name>hbase.clister.distributed</name>
    <value>true</value>
</property>
<!-- 指定master位置  -->
<property>
    <name>hbase.master</name>
    <value>hdfs://master:60000</value>
</property>
<!--  指定zookeeper集群 -->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master,slave1,slave2</value>
</property>

(三)运行

cd $HBASE_HOME/bin

1)单机情势
start-hbase.sh
2)伪分布式情势
start-dfs.sh

start-hbase.sh
3)完全分布式方式
start-dfs.sh

zookeeper.sh start

start-hbase.sh

终极,欢迎指正。喜欢的话,点个赞呗,请您吃苹果。

发表评论

电子邮件地址不会被公开。 必填项已用*标注