优化hbase JVM GC 参数,避免由于JVM内存回收引发的ZooKeeper会话超时进程退出事件

发布时间:2015-12-25 23:45:20 

 hbase默认内存为1G,官方文档中明确地指出这是无法支撑长时间正常运行的,是肯定要引发ZooKeeper会话超时事件,从而导致服务退出的。

文档中给出了4个不怎么有用的建议:

 

  1. 加大内存(但不告诉加多少,反正是越多越好)
  2. 确保不要使用交换分区(可我的硬盘是SSD,比内存慢不了多少)
  3. 确保有空闲的CPU(CPU很少怎么办?)
  4. 延长ZooKeeper超时等待时间(这个有点用,适当延长无害)

 

既然是JVM回收内存引发的事件,就优化JVM参数来解决吧!以默认1G内存为例。

设置Xmn值为150M:

export HBASE_OPTS="-Xmn150m"

设置GC参数:

export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"

解释一下:

-Xmn150m 年轻代大小为150M

"-XX:CMSInitiatingOccupancyFraction=80 年老代使用了80%时回收内存

( 1 - 年轻代150M / ( 总内存1000M - 年轻代150M ) ) * 100 = 82.35 > 80

确保了在回收时有余量执行此时出现的任务

-XX:+UseParNewGC:设置年轻代为并发回收

-XX:+UseConcMarkSweepGC:设置年老代为并发回收

这样就能保证在硬件资源范围内最大限度地支撑正常运行,赶快试试吧!

相关文章

2015-09-22 19:45:07

公共书包public(例子文件:_samples/public.html)---缺省存在的书包

public书包用来存放系统运行中产生的公共变量,相当于jsp、asp、 ...

更多
2015-09-23 19:39:12

接收上一页提交参数的书包pPage

在书包pPage中存放着用户从上一页提交过来的所有参数,我们通过一个简单 ...

更多
2015-09-28 08:44:18

ESql修改(介绍对数据库的增、删、改用法,Edoit的核心内容之一)

以系统目录(如D:/webeasy)下的help模块为例,来介绍增、删、 ...

更多
2015-09-29 23:59:22

ESQL查询之简单的Oracle数据库查询测试

操作Oracle数据库跟前边例子中操作其他数据库一样,同样是非常轻松的, ...

更多