• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > hadoop集群只有一个datanode启动问题,hadoop集群datanode

hadoop集群只有一个datanode启动问题,hadoop集群datanode

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hadoop datanode,hadoop 没有datanode,hadoop 启动datanode,datanode无法启动,datanode等服务器相关知识,网友希望可以进行参考

hadoop集群只有一个datanode启动问题,hadoop集群datanode


之前不懂犯了个低级错误,导致datanode只能启动一个;很是奇怪;

首先,之前多次将namenode格式化,导致namenode和datanode的clusterID不一致无法启动datanode

注:clusterID在/usr/local/hadoop/hdfs/name/current目录下;

解决方案:修改Shadoop1 和 Shadoop2 的data/current目录下的VERSION文件,将clusterID修改一致即可;


结果呢我胡乱修改一通,将 storageID和 datanodeUuid也改成一样的了,结果会怎么样?

你上传文件至hdfs会报错误:Exception in createBlockOutputStream java.io.IOException

.....Excluding datanode 192.168.85.11:50010最后告诉你有一个datanode成功了

这我就不明白为什么有一个节点被exclude了,输入命令 bin/hdfs dfsadmin -report 看到只有一个datanode,分别登录两个datanode发现都是启动的。

登录50070查看这一个活动的datanode不断的切换。http://192.168.85.10:50070/dfshealth.html#tab-datanode(不断刷新可以看到)有时候datanode会死掉,但是绝不会显示在dead nodes这一栏。

苦寻答案无果,我就这么处理了:

1、删除了tmp,logs,hdfs/data,hdfs/name 目录下的所有文件;

2、重新格式化namenode: bin/hdfs namenode -format;重启集群OK;

SO:只要修改storageID和 datanodeUuid这两个ID不一样就可以了吧。如果你也遇到上面的情况,不妨试试。



分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • hadoop集群只有一个datanode启动问题,hadoop集群datanode

相关文章

  • 2015 OpenCloud峰会总结,2015opencloud峰会
  • CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6
  • Hadoop学习---第四篇Mapreducer里的Partitioner,hadooppartitioner
  • R语言数据分析系列之一,数据分析系列之一
  • Flume 配置文件概述
  • OpenStack Magnum 项目简介,openstackmagnum
  • Web.xml配置详解,web.xml详解
  • Zookeeper常见问题整理,zookeeper常见问题
  • Andrew Ng机器学习课程10补充,andrewng
  • 观点 | 为什么说云主机比物理机故障率更低?,云主机

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • openstack:cinder-volume配置lvm/glusterfs/IP-SAN等多种后端,openstacklvm
    • 在spark上运行独立程序(Self-Contained Applications),selfcontained
    • 最小 Docker 镜像 hello-world 剖析,dockerhello-world
    • Andrew Ng机器学习课程10,andrewng机器课程
    • Scala类型详解,scala详解
    • pig里面没有if:不能判断一个条件后决定一个执行步骤,pigif
    • Elasticsearch之Nested Object Mapping,elasticsearch
    • 上传到dfs和hadoop统计计算
    • 观点 | 为什么说云主机比物理机故障率更低?,云主机
    • Nodejs课堂笔记-第六课 在DynamoDB中如何创建表,nodejsdynamodb

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有