澳门美高梅手机网站hbase-site.xml 配置详解

任了不少丁在议论 Mesos,可是并无是大明白 Mesos
到底能够解决什么问题,使用情形是怎样的,周伟涛(国内相比早同批判接触使用
Docker,Mesos 等技术之开发者)用平等句子话形容她, Mesos 可以管理每令机械的
CPU,内存等资源,让你如操纵单个资源池一样来决定整个数据核心。

hbase.rootdir

 

其一目录是region
server的共享目录,用来持久化HBase。URL需如果’完全正确’的,还要包含文件系统的scheme。例如,要代表hdfs中之’/hbase’目录,namenode
运行在namenode.example.org的9090端口。则用装也hdfs://namenode.example.org:9000/hbase。默认情状下HBase是写到/tmp的。不改是布局,数据会在再一次开的时丢。

周伟涛,现数人科技(首要产品往往人口说话,基于 Mesos 和 Docker
技术的云操作系统)云平台负责人,曾就职于国际开源解决方案供应商 Red Hat,
红帽认证工程师, Mesos Contributor,高级 Python 开发工程师。
是境内相比较早同批接触使用Docker,Mesos 等技术之开发者。

默认: file:///tmp/hbase-${user.name}/hbase

Apache Mesos
是一个集群管理器,提供了中的、跨分布式应用或框架的资源隔离和共享,可以运行
Hadoop、MPI、Hypertable、斯帕克(Spark)(Spark)。

hbase.master.port

13 单问题带来您深深精通 Mesos

(问答来自 OSChina 开源中国社区第 100 期高手问答 —— Apache Mesos)

Q1:对大多数人的话还非清楚什么是
Mesos,请介绍下他是怎么的,有啊用,怎么用?

A1:你好, Mesos
在境内的素材时即便未多,不过你随便百度,Google一下,依然出有之。这里自己眷恋拿一个例子来表明Mesos,若是某公司索要频繁举行深数量总计,该任务运行时要 N 多 CPU
和内存,为了满意这么些需要,我们来少数种思路:

思路同样)使用小型机,单机即可为天职提供丰裕 的资源;

思路二)分布式总计,即提供平等批平常布局的机(总括节点),也便是集群,将计任务拆分及每机器上总计,然后集中结果。

思路二凡是最近正在流行的做法,这种模式的长处不再多说。为了上思路二的求,我们用建立数量主导(集群)。进一步,为了充分利用数据焦点(集群)的资源(譬如为不同之任务分配不同资源,按职责优先级分配资源等),大家便需要一个器来进展全数据核心资源的管理、分配等,
这些家伙就是 Mesos。 与 Mesos 类似的工具还有 YARN.

而外, Mesos 不仅为总结任务 Offer 资源, 它也支撑运行长时任务(譬如
Web应用)。目前外国众多互联网集团都于动 Mesos
来作为其的集群管理工具,那里是一个 Powered by Mesos list:
https://mesos.apache.org/documentation/latest/powered-by-mesos/

Q2:大家本就此 Cloudera 这套,能大概介绍下 Mesos 和 Cloudera
的差别也?

A2:Mesos
的最紧要目标便是去救助管理不同框架(或者应用栈)间的集群资源。比如说,有一个作业需以和一个物理集群达而运转Hadoop,Storm及
Spark(Spark)。这种情形下,现有的调度器是心有余而力不足形成逾框架中的如此细粒度的资源共享的。Hadoop
的 YARN 调度器是一个中心调度器,它好允许五只框架 运行于一个集群里。

唯独,要下框架特定的算法或者调度策略的口舌就是更换得老不便了,因为两只框架中仅发一样栽调度算法。比如说,MPI
以的是组调度算法,而 Spark用的凡推调度。它们简单只以运行于一个集群达汇合促成供求关系的扑。还有一个智即使是将集群物理拆分成多单稍的集群,然后以不同之框架独立地
运行于这一个小集群上。再起一个艺术就是是为每个框架分配一组虚拟机。正而Regola
和 Ducom 所说之,虚拟化被看是一个性质瓶颈,尤其是当强性能计算(HPC)系统中。这正是 Mesos 适合的光景——它同意用户超过框架来治本集群资源。

Mesos 是一个双层调度器。在首先交汇中,Mesos
将毫无疑问的资源提供(以容器的模式)给相应的框架。框架在亚层接收至资源后,会运作自己的调度算法来
将任务分配到 Mesos 所提供的这个资源达成。和 Hadoop YARN
的这种中心调度器相比,或许它以集群资源采取方面并无是那么快。可是它带动了灵活性——比如说,两只框架实例能够运行在一个集群里。这是长存的那么些调度器都不可能兑现的。就到底
Hadoop YARN 也只是尽量争取以同一个集群达匡助类似 MPI
这样的老三正在框架而已。更首要之是,随着新框架的降生,比如说 山姆(Sam)za
近年来就是为 LinkedIn 开源出来了——有了 Mesos
这些新框架可以试验性地安排及现有的集群达,和另的框架和平共处。

Q3:您好,Mesos 有哪突出的施用场景?看了一部分介绍,说是能做 Docker
的编辑服务。与 OpenStack 那样的云平台管理物理机 CPU、内存,Cloudera
Manager 管理 Hadoop 集群服务有什么分别?

A3:现在 Mesos 的动场景很多,譬如
1)斯帕克(Spark)(Spark) on Mesos (这是标配 )
2)Jenkins on Mesos
3)Mesos 做 docker 的编撰服务等。

和 OpenStack 相相比, 首先,物理机,虚拟机都可看成 Mesos
的集群节点;其次, 粒度不同, Mesos 的中坚总计单元是容器(LXC) , 而
OpenStack 的凡 VM(听说现在吧辅助Docker
容器技术了),前者资源利用率还胜似;最后,轻量级,Mesos 只担负 Offer
资源让Framework,不顶调度资源。 OpenStack 更靠近于 IaaS 层,而 Mesos
在 IaaS 之上。所以有人称该也 DCOS,或者分布式操作系统。

Q4:各地点边界在啊,有啊了不起劣势,谢谢。

A4:优点
资源管理策略 Dominant Resource Fairness(DRF), 这是 Mesos
的要旨,也是咱拿Mesos 比作分布式系统 Kernel 的根本原因。通俗讲,Mesos
可以管集群内的拥有用户暴发一致之时用集群内的资源,这里的资源包括
CPU,内存,磁盘等等。很六人数以 Mesos跟 k8s 相比较,我本着 k8s
了然未死,可是,我觉着这二者侧重点不同不可能做比较,k8s
只是肩负容器编排而无是集群资源管理。不可知盖还是可以够管理
Docker,我们便管它们混为一谈。

轻量级。相对于 YARN,Mesos只当 Offer 资源给
Framework,不负担调度资源。这样,理论及,我们得以为各类东西用 Mesos
集群资源,而无像 YARN 只拘泥于 Hadoop,大家得举行的是出调度器(Mesos
Framework)。

增强分布式集群的资源利用率:这是一个 Generic
的助益。从一些方面来说,所有的集群管理工具都是为着加强资源利用率。VM
的产出,催生了 IaaS;容器的面世,催生了 K8s, Mesos
等等。简单说,同样多的资源,我们应用 IaaS 把她拆成 VM 与 利用
K8s/Mesos
把其拆成容器,显著后者的资源利用率还胜。(这里自己尚未探究安全的题材,大家设内部子网环境不需考虑那。)

缺点

诀窍太胜。只安排一套 Mesos,你什么都涉及不了,为了使它,你待不同之
Mesos Framework,像 Marathon,Chronos,斯帕克(Spark) 等等。或者好写 Framework
来调度 Mesos给的资源,这叫我们怕。

此时此刻针对 Stateful Service 的支撑不充分。Mesos
集群近日无法举行数量持久化。0.23 版本扩大了 Persistent resource 和
Dynamic reserver,数据持久化问题将抱改良。

脏活累活不会晤丢掉。Team 以选拔 Mesos 先前时期大明朗,认为搞定了
Mesos,大家的运维同学能自在多。但是,根本无是那么回事儿,集群节点的优化,磁盘,网络的安,等等那些,Mesos
是匪会见拉扯您干的。使用最初,运维的工作量不仅没减轻,反而又还了。Mesos
项目还以紧张的支付被,很多效果还未周密。

Q5:我眷恋请教下,假如如召开一个说服务平台,Mesos 与 Kubernates
怎么去选型

A5:近期之现状是 Mesos 和 K8s
的生态圈各自还发展的较好,放任哪一个还非凡吃亏。不如遵照你个人的好好,先选一个投下先用起来。比如数人云
间接一键部署,这样太方便了。可以急迅体验 Mesos 的好处。

夫只要看君的现实性求。据我所知, K8s 近期单纯协理 Docker
而且鲜有生产条件之用例; 而 Mesos 不欲你的使包到 Docker
里面还要该经验了生产条件之考验。 不过, 反过来, K8s
的社区进一步活跃,其正在快捷发展着,前景很好。 当然,上述都未是重点,
一个好用的云平台更多的凡使出好之产品观。
请参考数人云

Q6:对于增长日子任务,有没有发好之调度器算法或者政策

A6:长任务是依赖马拉松 Marathon 框架,对于 Docker,Mesos + Marathon
基本上是今最好成熟的分布式运行框架。长任务是凭借马拉松 Marathon
框架,对于 Docker,Mesos + Marathon 基本上是现最成熟之分布式运行框架。

Q7:请问下 Mesos 和 Docker 结合,Mesos 只是能解决资源分配问题对么?

A7:对的,Mesos 负责资源分配,需要发个东东负责 Docker
的任务调度,这样就会拿 Docker实例自动发出到集众多中运作。那么些组件叫马拉松
Marathon。Mesos + Marathon 基本上现在极其安静之 Docker 集群化调度框架

Q8:Mesos 现在好渐渐使至生育环境了?

A8:Mesos 早即令足以以及生育环境了, 外国的 Airbnb, Apple, Uber,
Twitter,国内的携程,爱奇艺,还有我们商家一再丁科技皆以养条件下了
Mesos。 你在这里可以看采纳 Mesos 的列表
https://mesos.apache.org/documentation/latest/powered-by-mesos/

Q9:Mesos 和 Zookeeper 有啊关系呢?

A9:Zookeeper 是一个吧分布式应用提供一致性服务之软件, 而 Mesos
是一个分布式应用。所以于生养环境,我们需要动用 Zookeeper 来啊 Mesos
提供一致性服务。

Q10:Mesos,Swarm,Kubernetes
之间发生没发出竞争关系?虽然就三小还说相互襄助,不过如此做会无谋面无限啰嗦了?

A10:Swarm 与 K8s 有许多接力。 Mesos 更多的凡 Focus 在资源管理及,
只是刚刚能够使 Container 做资源隔离。竞争为,还欲看社区的走向吧。

Q11:你好,看了羁押是框架想请教多少个问题:

1.夫框架是否自带日志搜集模块?
2.这一个框架能否进行性总计?
3.斯框架在某某节点资源耗尽时不过为自动切换?假使有节点资源耗尽是否好崩溃,自恢复生机能力怎么着?
4.以此框架可否配置负载均衡?
谢谢:)

A11:

  1. 带动日志模块,可是意义于简便,没有一个大局的展现
  2. 可拓展性总结
  3. Mesos
    是按照当前之集群资源总括来决定给调度器分配多少资源的,资源耗尽只会晤促成新的利用无法安排,不会晤潜移默化着运行的东西。
  4. 得配备负载均衡。 并且 Mesos 本身为有差不多 Master 机制

Q12:请问 Mesos 怎么样决定分配多少资源?分配的资源何时回收?

A12:Mesos 与任何的集群管理工具不同, Mesos
本身不负担分配资源,它仅仅是用眼前集群的剩余资源提供给登记到其的调度器,由调度器本身来支配动用多少资源,以及方便释放资源。

Q13:固然集群里暴发 3 台服务器,每令服务器可用内存
16G,现在调度器要运行一个职责要24G 内存,那么 Mesos 是拿一切集群的 48G
内存当成一个整来提供,如故会朝调度器提供各令服务器剩余的内存,也就是说上边两栽情状哪个种类才是不易的:

1. 调度器先申请节点1之 16G 内存,再提请节点 2 的 8G
内存,用什么人节点的内存完全由调度器控制

2. 调度器一浅过申请 24G 内存,由 Mesos
控制具体是故了哪位节点的内存。有或是每个节点都分配了
8G;也出或是一个节点 16G,另一个节点 8G

A13:看罢 DPark 实现 Mesos 的调度器。你一个职责要 24G
内存,这个任务便需拆分才堪调度起来。每个微任务要 16G
以下的内存。才可以透过调度器,调度到具体服务器。
调度器一般都是拿任务调度到文件所在的机上。由调度器控制下哪个地方的资源,
Mesos 告诉调度器哪些资源可用。

读书了登时 13 只问答,希望可以吃你针对 Mesos
的认还怪,并用以项目举办,分享更多地经历被 Mesos 爱好者:)

作者:数人云
链接:https://www.jianshu.com/p/ef220ec34b6e
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

HBase的Master的端口.

默认: 60000

hbase.cluster.distributed

HBase的周转情势。false是单机情势,true是分布式情势。若为false,HBase和Zookeeper会运行于同一个JVM里面。

默认: false

hbase.tmp.dir

本土文件系统的临时文件夹。可以改到一个更是持久的目录上。(/tmp会在更开时明)

默认:${java.io.tmpdir}/hbase-${user.name}

hbase.local.dir

当本土存储,位于地面文件系统的门径。

默认: ${hbase.tmp.dir}/local/

hbase.master.info.port

HBase Master web 界面端口. 设置也-1 意味着你切莫牵记吃他运行。

0.98 版本以前下默认: 60010   未来默认16010

hbase.master.info.bindAddress

HBase Master web 界面绑定的端口

默认: 0.0.0.0

hbase.client.write.buffer

HTable客户端的勾缓冲的默认大小。这多少个价更怪,需要吃的内存越丰硕。因为缓冲在客户端和服务端都来实例,所以需要消耗客户端与服务端多只地点的内存。得到的益处是,可以减去RPC的次数。可以这么预计服务器端被占用的内存:
hbase.client.write.buffer * hbase.regionserver.handler.count

默认: 2097152

hbase.regionserver.port


HBase RegionServer绑定的端口

0.98 往日默认: 60020自此默认是:16020

hbase.regionserver.info.port

HBase RegionServer web 界面绑定的端口 设置为 -1 意味这你莫思以及运作
RegionServer 界面.

0.98 从前默认: 60030 以后默认是:16030

hbase.regionserver.info.port.auto

Master或RegionServer是否如动态搜一个好据此的端口来绑定界面。当hbase.regionserver.info.port已经给挤占的当儿,可以搜一个有空之端口绑定。这个意义以测试的时非凡有由此。默认关闭。

默认: false

hbase.regionserver.info.bindAddress

HBase RegionServer web 界面的IP地址

默认: 0.0.0.0

hbase.regionserver.class

RegionServer 使用的接口。客户端打开代理来并接region
server的时候会利用及。

默认: org.apache.hadoop.hbase.ipc.HRegionInterface

hbase.client.pause

万般的客户端暂停时间。最多的用法是客户端在重试前之待时。比如败北的get操作及region查询操作等都不行可能由此到。

默认: 1000

hbase.client.retries.number

尽酷重试次数。所有需要重试操作的至极特别价值。例如从root region服务器获取root
region,Get单元值,行Update操作等等。这是无限要命重试错误的价。  Default:
10.

0.98 在此之前默认: 10 以后默认是:35

hbase.bulkload.retries.number

最为特别重试次数。 原子批加载尝试的迭代最充分次数。 0 永不放任。默认: 0.

默认: 0

hbase.client.scanner.caching

当调用Scanner的next方法,而值又无以缓存里之上,从劳动端一不佳沾之行数。越充足之价值意味着Scanner会快一些,可是会占更多的内存。当缓冲被占用满之时节,next方法调用会更加慢。慢到一定水准,可能会晤促成超时。例如超了hbase.regionserver.lease.period。

默认: 100

hbase.client.keyvalue.maxsize

一个KeyValue实例的尽酷size.那一个是因而来安装存储文件被之单个entry的大小上界。因为一个KeyValue是无克分开的,所以可以免以数量了大导致region不可分割。明智的做法是把它设为可以吃无限深region
size整除的再三。假如设置为0或者更小,就晤面禁用那么些检查。默认10MB。

默认: 10485760

hbase.regionserver.lease.period

客户端租用HRegion server
期限,即过阀值。单位凡毫秒。默认境况下,客户端必须在斯时外发一样条音讯,否则便是死掉。

默认: 60000

hbase.regionserver.handler.count

RegionServers受理的RPC
Server实例数量。对于Master来说,这么些特性是Master受理的handler数量

默认: 10

hbase.regionserver.msginterval

RegionServer 发消息被 Master 时间距离,单位凡飞秒

默认: 3000

hbase.regionserver.optionallogflushinterval

将Hlog同步到HDFS的区间。假设Hlog没有积攒到自然的数额,到了日,也会硌同步。默认是1秒,单位阿秒。

默认: 1000

hbase.regionserver.regionSplitLimit

region的数到了那多少个价值后就是未会合以瓦解了。这不是一个region数量的硬性限制。但是自从及了迟早携带性的功用,到了之价值就该打住分裂了。默认是MAX_INT.就是说不阻碍分裂。

默认: 2147483647

hbase.regionserver.logroll.period

交付commit log的区间,不管有没出描绘丰盛的价值。

默认: 3600000

hbase.regionserver.hlog.reader.impl

HLog file reader 的实现.

默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader

hbase.regionserver.hlog.writer.impl

HLog file writer 的实现.

默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter

hbase.regionserver.nbreservationblocks

褚的内存block的数据(译者注:就如石油储备一样)。当暴发out of memory
分外的时光,大家可以据此那么些内存在RegionServer停止在此之前进行清理操作。

默认: 4

hbase.zookeeper.dns.interface

当使用DNS的时段,Zookeeper用来申报的IP地址的网络接口名字。

默认: default

hbase.zookeeper.dns.nameserver

当用DNS的早晚,Zookeepr使用的DNS的域名如故IP
地址,Zookeeper用其来确定和master用来举办报道的域名.

默认: default

hbase.regionserver.dns.interface

当使用DNS的下,RegionServer用来反映的IP地址之网络接口名字。

默认: default

hbase.regionserver.dns.nameserver

当使用DNS的时刻,RegionServer使用的DNS的域名依旧IP
地址,RegionServer用它们来确定和master用来拓展报道的域名.

默认: default

hbase.master.dns.interface

当以DNS的时,Master用来举报的IP地址之网络接口名字。

默认: default

hbase.master.dns.nameserver

当使用DNS的时候,RegionServer使用的DNS的域名依然IP
地址,Master用它们来规定为此来开展报道的域名.

默认: default

hbase.balancer.period

Master执行region balancer的间隔。

默认: 300000

hbase.regions.slop

当任一区域服务器出average + (average *
slop)个分区,将会面进行还均衡。默认 20% slop .

默认:0.2

hbase.master.logcleaner.ttl

Hlog存在于.oldlogdir 文件夹的尽丰硕日子, 超越了便会见吃 Master 的线程清理掉.

默认: 600000

hbase.master.logcleaner.plugins

LogsCleaner服务会实施之同组LogCleanerDelegat。值用逗号间隔的文本表示。这一个WAL/HLog
cleaners会按顺序调用。可以拿先期调用的居面前。你能够实现团结的LogCleanerDelegat,加至Classpath下,然后于这边描绘下类的齐全。一般如故加于默认值的前。

默认: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner

hbase.regionserver.global.memstore.upperLimit

单个region
server的凡事memtores的极可怜价值。超过这价,一个初的update操作会被吊于,强制执行flush操作。

默认: 0.4

hbase.regionserver.global.memstore.lowerLimit

当强制执行flush操作的时节,当低于此价值的时刻,flush会截止。默认是积大小的
35% . 假若这多少个价值和 hbase.regionserver.global.memstore.upperLimit
相同便象征当update操作以内存限制为高悬于时,会尽量少之履flush(译者注:一旦推行flush,值就是会相比较下限要没有,不再履行)

默认: 0.35

hbase.server.thread.wakefrequency

service工作的sleep间隔,单位飞秒。
可以看作service线程的sleep间隔,比如log roller.

默认: 10000

hbase.server.versionfile.writeattempts

退前尝试写版本文件的次数。每一回尝试由 hbase.server.thread.wakefrequency
阿秒数间隔。

默认: 3

hbase.hregion.memstore.flush.size

当memstore的高低超越此价值的时候,会flush到磁盘。这些价为一个线程每隔hbase.server.thread.wakefrequency检查一下。

默认:134217728

hbase.hregion.preclose.flush.size

当一个region中之memstore的轻重大于此价值的下,我们以触及了close.会先运行“pre-flush”操作,清理是用关闭的memstore,然后将这region下线。当一个region下线了,大家鞭长莫及再度举办其他写操作。假设一个memstore很至极的当儿,flush操作会消耗很多时空。”pre-flush”操作表示当region下线此前,会先把memstore清空。那样在结尾实施close操作的上,flush操作会很快。

默认: 5242880

hbase.hregion.memstore.block.multiplier

若memstore有hbase.hregion.memstore.block.multiplier倍数的hbase.hregion.flush.size的轻重,就碰面卡住update操作。这是为了防在update高峰期会导致的失控。假如非苟上界,flush的时会花费大充足之时日来统一或者私分,最丰裕的图景尽管是引发out
of
memory很是。(译者注:内存操作的速度和磁盘不配合,需要等五星级。原文似乎有误)

默认: 2

hbase.hregion.memstore.mslab.enabled

经验特性:启用memStore分配本地缓冲区。这一个特性是为防在大方形容负载的时段堆的散装过多。这可以减小GC操作的效能。(GC有或相会Stop
the
world)(译者注:实现的原理相当给预分配内存,而未是各国一个价值都如起堆积如山里分配)

默认: true

hbase.hregion.max.filesize

但是特别HStoreFile大小。若有列族的HStoreFile增长高达这价,这么些Hegion会于切割成稀独。
默认: 10G.

默认:10737418240

hbase.hstore.compactionThreshold

当一个HStore含有多于这一个价值的HStoreFiles(每一个memstore
flush暴发一个HStoreFile)的时光,会履一个统一操作,把及时HStoreFiles写成一个。那么些价更丰硕,需要统一的工夫虽越长。

默认: 3

hbase.hstore.blockingStoreFiles

当一个HStore含有多于这些价值的HStoreFiles(每一个memstore
flush暴发一个HStoreFile)的当儿,会举办一个集合操作,update会阻塞直到合并完成,直到领先了hbase.hstore.blockingWait提姆e的值

默认: 7

hbase.hstore.blockingWaitTime

hbase.hstore.blockingStoreFiles所界定的StoreFile数量会导致update阻塞,这么些时刻是来界定阻塞时的。当跨越了此日子,HRegion会截止阻塞update操作,然则合并还有没有出得。默认为90s.

默认: 90000

hbase.hstore.compaction.max

每个“小”合并之HStoreFiles最充足数目。

默认: 10

hbase.hregion.majorcompaction

一个Region中的具有HStoreFile的major compactions的日间隔。默认是1天。
设置为0不怕是剥夺那些效应。

默认: 86400000

hbase.storescanner.parallel.seek.enable

许 StoreFileScanner 并行搜索 StoreScanner,
一个在特定条件下降低顺延的特色。

默认: false

hbase.storescanner.parallel.seek.threads

相搜索特性打开后,默认线程池大小。

默认: 10

hbase.mapreduce.hfileoutputformat.blocksize

MapReduce中HFileOutputFormat可以形容 storefiles/hfiles.
这一个价值是hfile的blocksize的无比小值。平时以HBase写Hfile的时,bloocksize是出于table
schema(HColumnDescriptor)决定的,可是于mapreduce写的下,大家无能为力获取schema中blocksize。那多少个价更聊,你的目就越发丰裕,你随便走访需要拿到之数就一发小。假诺你的cell都特别有点,而且若得再行快之任性访问,可以把这值调低。

默认: 65536

hfile.block.cache.size

分红受HFile/StoreFile的block cache占尽深堆(-Xmx
setting)的比重。默认0.25意思是分配25%,设置为0虽是禁用,但非引进。

默认:0.25

hbase.hash.type

哈希函数用的哈希算法。可以择简单个价:: murmur (MurmurHash) 和 jenkins
(JenkinsHash). 这些哈希是叫 bloom filters用之.

默认: murmur

hfile.block.index.cacheonwrite

        在index写副的时段许put无根(non-root)的多级索引块到block
cache里,默认是false;

   
 hfile.index.block.max.size:在多元索引的树形结构里,假设其他一样交汇的block
index达到这布局高低,则block写来,同时         

     替换上新的block,默认是131072;

hfile.format.version

新文件的HFile 格式版本,设置为1来测试于后分外,默认是2;

io.storefile.bloom.block.size

一个手拉手布隆过滤器的十足块(chunk)的深浅,这么些价是一个逼近值,默认是131072;

hfile.block.bloom.cacheonwrite

对做布隆过滤器的内联block开启cache-on-write,默认是false

hbase.rs.cacheblocksonwrite

当一个HFile block完成时是不是刻画入block cache,默认是false

hbase.rpc.server.engine

hbase 举行rpc
server的调度管理类,实现自org.apache.hadoop.ipc.RpcServerEngine,默认是org.apache.hadoop.hbase.ipc.ProtobufRpcServerEngine

hbase.ipc.client.tcpnodelay

默认是true,具体就是于tcp socket连接时设置 no delay

hbase.master.keytab.file

HMaster server验证登录使用的kerberos keytab
文件路径。(译者注:HBase使用Kerberos实现平安)

默认:

hbase.master.kerberos.principal

例如. “hbase/_HOST@EXAMPLE.COM”. HMaster运行需要运用 kerberos principal
name. principal name 可以在: user/hostname@DOMAIN 中取取. 就算 “_HOST”
被用做hostname portion,需要使用实际运行的hostname来替代她。

默认:

hbase.regionserver.keytab.file

HRegionServer验证登录使用的kerberos keytab 文件路径。

默认:

hbase.regionserver.kerberos.principal

例如. “hbase/_HOST@EXAMPLE.COM”. HRegionServer运行需要用 kerberos
principal name. principal name 可以于: user/hostname@DOMAIN 中得取. 如若”_HOST” 被用做hostname
portion,需要利用实际运行的hostname来代替它。在此文件中务必使出一个entry来描述
hbase.regionserver.keytab.file

默认:

hadoop.policy.file

RPC服务器做权限认证时欲之安全策略配置文件,在Hbase
security开启后下,默认是habse-policy.xml;

hbase.superuser

Hbase security 开启后的特级用户配置,一多重由逗号隔开的user或者group;

hbase.auth.key.update.interval

Hbase security开启后服务端更新认证key的间隔时间:默认是86400000阿秒;

hbase.auth.token.max.lifetime

Hbase security开启后,认证token下发后的生周期,默认是604800000阿秒

zookeeper.session.timeout

ZooKeeper
会话超时.HBase把那一个价传递改zk集群,向外引荐一个对话的极其深超时时间。详见http://hadoop.apache.org/zookeeper/docs/current/zookeeperProgrammers.html\#ch\_zkSessions
“The client sends a requested timeout, the server responds with the
timeout that it can give the client. “。 单位凡毫秒

默认: 180000

zookeeper.znode.parent

ZooKeeper中之HBase的根ZNode。所有的HBase的ZooKeeper会用是目录配置相对路径。默认状况下,所有的HBase的ZooKeeper文件路径是为此相对路径,所以她们会都失去这目录下面。

默认: /hbase

zookeeper.znode.rootserver

ZNode 保存的 根region的路径. 这么些价是出于Master来形容,client和regionserver
来读的。如若设为一个对峙地址,父目录就是
${zookeeper.znode.parent}.默认情状下,意味着根region的不二法门存储在/hbase/root-region-server.

默认: root-region-server

zookeeper.znode.acl.parent

root znode的acl,默认acl;

hbase.coprocessor.region.classes

逗号分隔的Coprocessores列表,会吃加载到默认所有表上。在温馨实现了一个Coprocessor后,将其上加到Hbase的classpath并插手全限定名。也堪延缓加载,由HTableDescriptor指定;

hbase.coprocessor.master.classes

由于HMaster进程加载的coprocessors,逗号分隔,全体实现org.apache.hadoop.hbase.coprocessor.MasterObserver,同coprocessor类似,参预classpath及全限定名;

hbase.zookeeper.quorum

Zookeeper集群的地点列表,用逗号分割。例如:”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,是深受伪分布式用的。要改才会以一点一滴分布式的情形下利用。假如以hbase-env.sh设置了HBASE_MANAGES_ZK,这一个ZooKeeper节点就谋面与HBase一起启动。

默认: localhost

hbase.zookeeper.peerport

ZooKeeper节点使用的端口。详细参见:http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html\#sc\_RunningReplicatedZooKeeper

默认: 2888

hbase.zookeeper.leaderport

ZooKeeper用来选拔Leader的端口,详细参见:http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html\#sc\_RunningReplicatedZooKeeper

默认: 3888

hbase.zookeeper.useMulti

Instructs HBase to make use of ZooKeeper’s multi-update functionality.
This allows certain ZooKeeper operations to complete more quickly and
prevents some issues with rare Replication failure scenarios (see the
release note of HBASE-2611 for an example). IMPORTANT: only set this to
true if all ZooKeeper servers in the cluster are on version 3.4+ and
will not be downgraded. ZooKeeper versions before 3.4 do not support
multi-update and will not fail gracefully if multi-update is invoked
(see ZOOKEEPER-1495).

Default: false

hbase.zookeeper.property.initLimit

ZooKeeper的zoo.conf中之配备。 开首化synchronization阶段的ticks数量限制

默认: 10

hbase.zookeeper.property.syncLimit

ZooKeeper的zoo.conf中之部署。
发送一个呼吁到取肯定之间的ticks的数码限制

默认: 5

hbase.zookeeper.property.dataDir

ZooKeeper的zoo.conf中之配备。 快照的仓储地点

默认: ${hbase.tmp.dir}/zookeeper

hbase.zookeeper.property.clientPort

ZooKeeper的zoo.conf中之安排。 客户端连接的端口

默认: 2181

hbase.zookeeper.property.maxClientCnxns

ZooKeeper的zoo.conf中的布置。
ZooKeeper集群中之单个节点接受之么Client(以IP区分)的伸手的并发数。这么些价好调整高一点,避免在单机和伪分布式情势碰到爆发问题。

默认: 300

hbase.rest.port

HBase REST server的端口

默认: 8080

hbase.rest.readonly

定义REST server的运作形式。可以装成如下的值: false:
所有的HTTP请求都是给允许的 – GET/PUT/POST/DELETE.
true:唯有GET请求是深受允许的

默认: false

hbase.defaults.for.version.skip

Set to true to skip the ‘hbase.defaults.for.version’ check. Setting this
to true can be useful in contexts other than the other side of a maven
generation; i.e. running in an ide. You’ll want to set this boolean to
true to avoid seeing the RuntimException complaint: “hbase-default.xml
file seems to be for and old version of HBase (\${hbase.version}), this
version is X.X.X-SNAPSHOT”

Default: false

是不是超过了hbase.defaults.for.version的检讨,默认是false;

hbase.coprocessor.abortonerror

Set to true to cause the hosting server (master or regionserver) to
abort if a coprocessor throws a Throwable object that is not IOException
or a subclass of IOException. Setting it to true might be useful in
development environments where one wants to terminate the server as soon
as possible to simplify coprocessor failure analysis.

Default: false

一旦coprocessor加载失利或者初步化失败或者抛来Throwable对象,则主机退出。设置为false会让系统继续运行,可是coprocessor的状态会无均等,所以一般debug时才相会安装也false,默认是true;

hbase.online.schema.update.enable

Set true to enable online schema changes. This is an experimental
feature. There are known issues modifying table schemas at the same time
a region split is happening so your table needs to be quiescent or else
you have to be running with splits disabled.

Default: false

装true来允许以线schema变更,默认是true;

hbase.table.lock.enable

Set to true to enable locking the table in zookeeper for schema change
operations. Table locking from master prevents concurrent schema
modifications to corrupt table state.

Default: true

安为true来允许在schema变更时zk锁表,锁表可以社团起的schema变更导致的表状态不相同,默认是true;

dfs.support.append

Does HDFS allow appends to files? This is an hdfs config. set in here so
the hdfs client will do append support. You must ensure that this
config. is true serverside too when running hbase (You will have to
restart your cluster after setting it).

Default: true

hbase.thrift.minWorkerThreads

The “core size” of the thread pool. New threads are created on every
connection until this many threads are created.

Default: 16

线程池的core
size,在达到此处配置的量级后,新线程才谋面更新的连日创造刻创制,默认是16;

hbase.thrift.maxWorkerThreads

The maximum size of the thread pool. When the pending request queue
overflows, new threads are created until their number reaches this
number. After that, the server starts dropping connections.

Default: 1000

顾名思义,最深线程数,达到这一个数字后,服务器起首drop连接,默认是1000;

hbase.thrift.maxQueuedRequests

The maximum number of pending Thrift connections waiting in the queue.
If there are no idle threads in the pool, the server queues requests.
Only when the queue overflows, new threads are added, up to
hbase.thrift.maxQueuedRequests threads.

Default: 1000

Thrift连接队列的无限要命屡屡,假若线程池满,会优先以这么些队中缓存请求,缓存上限就是拖欠配置,默认是1000;

hbase.offheapcache.percentage

The amount of off heap space to be allocated towards the experimental
off heap cache. If you desire the cache to be disabled, simply set this
value to 0.

Default: 0

JVM参数-XX:马克斯DirectMemorySize的百分率,默认是0,即未起初启堆外分配;

hbase.data.umask.enable

Enable, if true, that file permissions should be assigned to the files
written by the regionserver

Default: false

被后,文件在regionserver写副常会晤 有权力相关设定,默认是false不先河起来;

hbase.data.umask

File permissions that should be used to write data files when
hbase.data.umask.enable is true

Default: 000

翻开者一样桩配置后,文件之权限umask,默认是000

hbase.metrics.showTableName

Whether to include the prefix “tbl.tablename” in per-column family
metrics. If true, for each metric M, per-cf metrics will be reported for
tbl.T.cf.CF.M, if false, per-cf metrics will be aggregated by
column-family across tables, and reported for cf.CF.M. In both cases,
the aggregated metric M across tables and cfs will be reported.

Default: true

是不是也每个目标突显表名前缀,默认是true;

hbase.metrics.exposeOperationTimes

Whether to report metrics about time taken performing an operation on
the region server. Get, Put, Delete, Increment, and Append can all have
their times exposed through Hadoop metrics per CF and per region.

Default: true

是否开展有关操作以应用时间维度的目标报告,比如GET PUT DELETE
INCREMENT等,默认是true;

hbase.master.hfilecleaner.plugins

A comma-separated list of HFileCleanerDelegate invoked by the
HFileCleaner service. These HFiles cleaners are called in order, so put
the cleaner that prunes the most files in front. To implement your own
HFileCleanerDelegate, just put it in HBase’s classpath and add the fully
qualified class name here. Always add the above default log cleaners in
the list as they will be overwritten in hbase-site.xml.

Default: org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

HFile的清理插件列表,逗号分隔,被HFileService(Service)调用,可以由定义,默认org.apache.hadoop.hbase.master.cleaner.提姆eToLiveHFileCleaner

hbase.regionserver.catalog.timeout

Timeout value for the Catalog Janitor from the regionserver to META.

Default: 600000

regionserver的Catalog Janitor访问META的过期时间,默认是600000;

hbase.master.catalog.timeout

Timeout value for the Catalog Janitor from the master to META.

Default: 600000

Catalog
Janitor从master到META的过时间,我们知晓是Janitor是定时之去META扫描表目录,来决定回收无用的regions,默认是600000;

hbase.config.read.zookeeper.config

Set to true to allow HBaseConfiguration to read the zoo.cfg file for
ZooKeeper properties. Switching this to true is not recommended, since
the functionality of reading ZK properties from a zoo.cfg file has been
deprecated.

Default: false

叫hbaseconfig去念zk的config,默认false,也不协助开启,那多少个效用非凡干笑~~个人观点;

hbase.snapshot.enabled

Set to true to allow snapshots to be taken / restored / cloned.

Default: true

是否允许snapshot被下、存储和仿制,默认是true;

hbase.rest.threads.max

The maximum number of threads of the REST server thread pool. Threads in
the pool are reused to process REST requests. This controls the maximum
number of requests processed concurrently. It may help to control the
memory used by the REST server to avoid OOM issues. If the thread pool
is full, incoming requests will be queued up and wait for some free
threads. The default is 100.

Default: 100

REST服务器线程池的分外老线程数,池满的言语新请求会自行排队,限制这多少个布局可以决定服务器的内存量,预防OOM,默认是100;

hbase.rest.threads.min

The minimum number of threads of the REST server thread pool. The thread
pool always has at least these number of threads so the REST server is
ready to serve incoming requests. The default is 2.

Default: 2

与齐类似,最小线程数,为了确保服务器的服务状态,默认是2;

发表评论

电子邮件地址不会被公开。 必填项已用*标注