• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase
您的位置:首页 > 数据库 >HBase > 《HBase权威指南》架构,region拆分

《HBase权威指南》架构,region拆分

作者:白色咖啡 字体:[增加 减小] 来源:互联网 时间:2017-09-02

白色咖啡通过本文主要向大家介绍了架构,读书笔记,hbase等相关知识,希望本文的分享对您有所帮助

region拆分的条件满足以下任何一条时做split拆分操作:

  • 当region储存文件大于配置项hbase.hregion.max.filesize
  • 当region储存文件大于列族层面配置的大小

拆分过程非常迅速。其大致过程为:HBase创建两个引用文件,然后在后台执行compaction操作替换掉被引用的文件。假设要拆分的region文件路径为/hbase/testtable/b095f2f8eaaf945bcfdd453eeaf83447/colfam1/6630747383202842155,以下是拆分的详细过程:

  • 创建文件夹:/hbase/testtable/b095f2f8eaaf945bcfdd453eeaf83447/splits
  • 关闭regionb095f2f8eaaf945bcfdd453eeaf83447,不再接受新的请求
  • 在splits目录中创建子region的文件,此文件包含的信息仅有:拆分的key、上半部分还是下半部分,被称为reference文件。包括:splits/新的regionA/新的随机数A.b095f2f8eaaf945bcfdd453eeaf83447和splits/新的regionB/新的随机数B.b095f2f8eaaf945bcfdd453eeaf83447。可以看到文件名是父region作为后缀。
  • 上一步如果成功完成,则将上面两个文件夹splits/新的regionA和splits/新的regionB移动到/hbase/testtable中
  • 将父region标记为正在拆分
  • 启动两个子region,更新meta表,添加两个子region
  • 两个子region启动compaction操作,从父region读取数据重新构建子region的文件。
  • 当compaction操作做完之后,父region相关数据全部被删除

参考资料: http://blog.csdn.net/javaman_chen/article/details/48048315
http://blog.csdn.net/weihongrao/article/details/17297303
http://blog.csdn.net/weihongrao/article/details/17281991

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 《HBase权威指南》架构,region拆分

相关文章

  • 2018-08-22hive 分桶
  • 2017-07-23hbase的调优
  • 2018-08-22hive DML-Load,insert into,
  • 2018-08-22hive 导入 导出
  • 2018-08-22hive DDL-Database
  • 2018-08-22hive DDL-Table
  • 2017-09-02《HBase权威指南》架构,region拆分
  • 2018-08-22hive 分区表

文章分类

  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase

最近更新的内容

    • hive 分桶
    • hive 导入 导出
    • hbase的调优
    • hive 分区表
    • hive DML-Load,insert into,
    • hive DDL-Database
    • 《HBase权威指南》架构,region拆分
    • hive DDL-Table

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有