• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode

hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode等服务器相关知识,网友希望可以进行参考

hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode



1)NameNode、DataNode和Client

NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。

DataNode是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。

Client就是需要获取分布式文件系统文件的应用程序。

2)文件写入

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

3)文件读取

Client向NameNode发起文件读取的请求。

NameNode返回文件存储的DataNode的信息。

Client读取文件信息。

----------------------------------------------------------------------------------------------------------------------------------------------------------------

通信方式介绍:

在hadoop系统中,master/slaves/client的对应关系是:

master---namenode;

slaves---datanode;

client---dfsclient;

那究竟是通过什么样的方式进行通信的呢,在这里从大体介绍一下:

简单地讲:

client和namenode之间是通过rpc通信;

datanode和namenode之间是通过rpc通信;

client和datanode之间是通过简单的socket通信。

随便拔一下DFSClient的代码,可以看到它有一个成员变量public final ClientProtocolnamenode;

而再拔一下DataNode的代码,可以看到它也有一个成员变量public DatanodeProtocolnamenode

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode

相关文章

  • 《转》 Openstack Grizzly 指定 compute node 创建 instance,《转》openstack
  • Hadoop常见重要命令行操作及命令作用,hadoop命令行命令
  • 系统监控软件Ganglia的安装,监控软件ganglia
  • hadoop的namenode无法启动的解决办法,hadoopnamenode
  • Spark编程指南V1.4.0(翻译),编程指南v1.4.0
  • Docker 使用方法总结之:容器的基本操作,docker基本操作
  • HDFS学习笔记(1)初探HDFS,hdfs学习笔记初探
  • AWS和OpenStack服务对照表,OpenStack服务英文单词的中文翻译,awsopenstack
  • 浅谈大数据,浅谈数据
  • 1006-hive的自定义UDF函数,1006-hiveudf函数

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • AWS和OpenStack服务对照表,OpenStack服务英文单词的中文翻译,awsopenstack
    • request.getScheme()的使用方法,request.getscheme
    • Hadoop学习---第一篇搭建Hadoop集群,---hadoop
    • openstack性能测试用例和测试结果,openstack性能测试
    • CDH集群集成kafka,cdh集群kafka
    • spark on yarn的cpu使用,sparkonyarncpu
    • Spark性能优化:数据倾斜调优
    • 在linux下制作libxxx.so 动态库,linuxlibxxx.so
    • 吐槽Oozie: 挖好坑,等你跳!,oozie
    • 【Spark1.3官方翻译】Spark快速入门,spark1.3spark

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有