• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > Hbase详解—–管理 Splitting,hbase详解splitting

Hbase详解—–管理 Splitting,hbase详解splitting

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hbase详解,hbase配置详解,hbase,hbase是什么,hbase安装等服务器相关知识,网友希望可以进行参考

Hbase详解—–管理 Splitting,hbase详解splitting


除了让Hbase自动切割你的Region,你也可以手动切割。 随着数据量的增大,splite会被持续执行。如果你需要知道你现在有几个region,比如长时间的debug或者做调优,你需要手动切割。通过跟踪日志来了解region级的问题是很难的,因为他在不停的切割和重命名。data offlineing bug和未知量的region会让你没有办法。如果一个 HLog 或者 StoreFile由于一个奇怪的bug,Hbase没有执行它。等到一天之后,你才发现这个问题,你可以确保现在的regions和那个时候的一样,这样你就可以restore或者replay这些数据。你还可以调优你的合并算法。如果数据是均匀的,随着数据增长,很容易导致split / compaction疯狂的运行。因为所有的region都是差不多大的。用手的切割,你就可以交错执行定时的合并和切割操作,降低IO负载。

为什么我关闭自动split呢?因为自动的splite是配置文件中的 hbase.hregion.max.filesize决定的. 你把它设置成ILong.MAX_VALUE是不推荐的做法,要是你忘记了手工切割怎么办.推荐的做法是设置成100GB,一旦到达这样的值,至少需要一个小时执行 major compactions。

那什么是最佳的在pre-splite regions的数量呢。这个决定于你的应用程序了。你可以先从低的开始,比如每个server10个pre-splite regions.然后花时间观察数据增长。有太少的region至少比出错好,你可以之后再rolling split.一个更复杂的答案是这个值是取决于你的region中的最大的storefile。随着数据的增大,这个也会跟着增大。你可以当这个文件足够大的时候,用一个定时的操作使用Store的合并选择算法(compactselection algorithm)来仅合并这一个HStore。如果你不这样做,这个算法会启动一个 major compactions,很多region会受到影响,你的集群会疯狂的运行。需要注意的是,这样的疯狂合并操作是数据增长造成的,而不是手动分割操作决定的。

如果你 pre-split 导致 regions 很小,你可以通过配置HConstants.MAJOR_COMPACTION_PERIOD把你的major compaction参数调大

如果你的数据变得太大,可以使用org.apache.hadoop.hbase.util.RegionSplitter 脚本来执行针对全部集群的一个网络IO安全的rolling split操作。

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • HBase基本数据操作详解,HBase数据操作详解
  • HBase RegionServer详解(未完),hbaseregionserver
  • Hbase详解—–管理 Splitting,hbase详解splitting

相关文章

  • CDH集群集成kafka,cdh集群kafka
  • 云主机跟VPS哪个比较好?哪个稳定安全?,主机vps
  • 《转》OpenStack Live Migration,《转》openstack
  • sqoop流程详解,sqoop详解
  • What's Wrong With Hue Oozie Editor?,hueoozie
  • @RequestMapping的params参数 @RequestMapping(params = "method=save"),requestmapping
  • hadoop集群扩展,hadoop集群
  • 安装配置openstack 中的 Open vSwitch (OVS) service,openstackvswitch
  • ERROR (ConnectionError): HTTPConnectionPool (Caused by <class 'socket.error'>: [Errno 111] Connecti,errno111
  • 在spark上运行独立程序(Self-Contained Applications),selfcontained

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • 智能助手相伴,享受人机温情,智能助手人机
    • AWS和OpenStack服务对照表,OpenStack服务英文单词的中文翻译,awsopenstack
    • springmvc No mapping found for HTTP request with URI in Dispatc,springmvcdispatc
    • Spark的日志配置,Spark日志配置
    • Storm中Trident流合并的例子demo,stormtrident
    • 分布式数据库MVCC读写设计,数据库mvcc读写
    • Spark MLlib LDA主题模型(1),mlliblda
    • Spark开发指南,spark指南
    • Twitter发布新的大数据实时分析系统Heron,
    • LXC学习,学习中国app上线

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有