• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > Hadoop平台安装前准备,hadoop平台准备

Hadoop平台安装前准备,hadoop平台准备

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hadoop平台,hadoop平台搭建,如何搭建hadoop平台,hadoop平台介绍,hadoop平台架构等服务器相关知识,网友希望可以进行参考

Hadoop平台安装前准备,hadoop平台准备


集群配置

准备工作

1、  Iptables

#chkconfig iptables –list

#chkconfig iptables –level 3456off

#service iptables stop

2、  Initab

#vim /etc/inittab

id:3

3、  Ntpd

#chkconfig ntpd –list

#chkconfig ntpd –level 23456off

#service iptables start

4、  Sudo hadoop(添加hadoop用户,赋于sudo权限)

#useradd hadoop

#passwd hadoop

#vim /etc/sudoers

加入hadoop  ALL=(ALL)       ALL

5、  Selinux disabled

#vim /etc/selinux/config

设置SELINUX=disabled

6、  Host

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=spark04

#hostname spark04

#vim /etc/hosts  主机名最好有意义的域名,例如:www.spark01.cn

10.36.0.159database

10.36.0.158spark03

10.36.0.157spark02

10.36.0.30spark01

10.36.0.201spark04

10.36.0.202spark05

7、  ssh

#ssh-keygen

#vim authorized_keys

把每台机子上的id_rsa.pub内容拷贝到authorized_keys

Scp到其它机器上

 

注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求

版本

名称

版本号

Hadoop

hadoop-2.6.0

Zookeeper

zookeeper-3.4.6

Jdk

jdk-7u75-linux-x64

主机(请按实际情况填写)

主机名

IP

database

10.36.0.159

Spark02

10.36.0.157

Spark03

10.36.0.158

Spark04

10.36.0.201

Spark05

10.36.0.202

角色配置(请按实际情况填写)

主机          角色

database(159)

spark02(157)

spark03(158)

spark04(201)

spark05(202)

Namenode

Namenode

Namenode

Datanode

Datanode

Datanode

Datanode

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Journalnode

Journalnode

Journalnode

Journalnode

zkfc

zkfc

zkfc

Resourcemanager

Resourcemanager

Resourcemanager

Nodemanager

Nodemanager

Nodemanager

Nodemanager

Ha角色(请按实际情况填写)

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • Hadoop平台安装前准备,hadoop平台准备

相关文章

  • 基于sparksql调用shell脚本执行SQL,sparksqlshell
  • [Hive]Hive分区表新增字段,hive分区表新增字段
  • 【解决】hive动态增加partitions不能超过100的问题,hivepartitions
  • hadoop 2.6.0 安装过程,hadoop2.6.0
  • 机器学习-统计学习方法概论,学习方法概论
  • 【Spark1.3官方翻译】Spark快速入门,spark1.3spark
  • hive使用技巧(一)自动化动态分配表分区及修改hive表字段名称,使用技巧hive
  • 在Ubuntu下安装Mongdb,以及Mongdb基本操作命令,ubuntumongdb
  • 用Hello World校验Docker的安装,hellodocker
  • MapReduce处理二次排序(分区-排序-分组),mapreduce二次

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • Hadoop之——Flume笔记,hadoopflume
    • Hive 合并输入输出文件,
    • Win 10服务智能化有什么根据?,win智能化
    • hadoop2.6.0伪分布式安装,hadoop2.6.0伪
    • Spark中配置Parquet参数,sparkparquet参数
    • Hadoop之——HBase笔记(补充),hadoophbase
    • 微软云和阿里云的区别,微软云和阿里
    • 上海第五次Spark meetup会议资料分享,sparkmeetup
    • Hadoop之——搭建ZooKeeper服务器集群,hadoopzookeeper
    • 如何解决Greenplum中无法通过标准命令修复的元数据错误,greenplum元数据

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有

角色名

主机名

NameNode

Database , spark02

ResourceManager

Database , spark02