• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >Linux > CentOS7.2下Hadoop2.7.2的集群搭建

CentOS7.2下Hadoop2.7.2的集群搭建

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hadoop2.7.2安装,hadoop2.7.2下载,hadoop 2.7.2,hadoop 2.7.2.tar.gz,hadoop common 2.7.2等服务器相关知识,网友希望可以进行参考

CentOS7.2下Hadoop2.7.2的集群搭建


1.基本环境:

操作系统:

Centos 7.2.1511

三台虚机:

192.168.163.224 master

192.168.163.225 node1

192.168.163.226 node2

软件包

hadoop-2.7.2.tar.gz

jdk-7u79-linux-x64.tar.gz

2.配置系统环境

配置ntp时间同步

参考http://bigtrash.blog.51cto.com/8966424/1826481

修改hostname

192.168.163.224主机:

echo"master">/etc/hostname

192.168.163.225主机:

echo"node1">/etc/hostname

192.168.163.226主机:

echo"node2">/etc/hostname

master上修改hosts文件

echo"192.168.163.224master">>/etc/hostsecho"192.168.163.225node1">>/etc/hostsecho"192.168.163.225node2">>/etc/hosts

同步到node1,node2上的主机

scp/etc/hostsnode1:/etc/scp/etc/hostsnode2:/etc/

各台主机上相互ping,测试是否可以通过host连通

pingmasterpingnode1pingnode2

master,node1,node2上关闭防火墙

systemctlstopfirewalldsystemctldisablefirewalld

3.配置hadoop环境

master,node1,node2上安装jdk

rpm-qa|grepopenjdk#检查openjdk,存在则删除yumremove*-openjdk-*####删除openjdk#####

安装sunjdk

<span style="font-family:'comic sans ms';">###yum install glibc.i686(64位系统安装32位包,需要安装)<br></span><span style="font-family:sans-serif;"> tar-zxvfjdk-7u79-linux-x64.tar.gz<br></span><span style="font-family:sans-serif;"> mv./jdk1.7.0_79/usr/</span>

master,node1,node2上创建hadoop用户

useradd hadoop #增加hadoop用户,用户组、home目录、终端使用默认

passwd hadoop #修改密码

建议在学习阶段将hadoop用户加入sudo权限管理,简单方法如下

1.执行visudo命令

2.在root ALL=(ALL) ALL 后加入

hadoop ALL=(ALL) ALL

master,node1,node2上进入hadoop用户:

su - hadoop

master,node1,node2上无密钥连接:

master上的hadoop用户通过rsa算法生成非对称密钥对:

ssh-keygen-trsacd/home/hadoop/.ssh/cpid_rsa.pubauthorized_keyschmodgo-wxauthorized_keys

master上的公钥authorized_keys拷贝到node1,node2上的hadoop用户

scpauthorized_keysnode1:/home/hadoop/.ssh/scpauthorized_keysnode2:/home/hadoop/.ssh/

可通过如下命令测试

ssh node1

ssh node2

为方便node1,node2中hadoop用户可以同时登录master,这里我们集群中的所有用户共用一个密钥

scp~/.ssh/id_rsanode1:/home/hadoop/.ssh/scp~/.ssh/id_rsanode2:/home/hadoop/.ssh/

master,node1,node2上修改环境变量

vi/etc/profileJAVA_HOME=/usr/jdk1.7.0_79HADOOP_HOME=/usr/local/hadoopexportPATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATHsu-hadoop#重新读取环境变量

master,node1,node2上创建相关目录

sudomkdir-p/usr/local/hadoopsudochown-Rhadoop:hadoop/usr/local/hadoop
分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • CentOS7.2下Hadoop2.7.2的集群搭建

相关文章

  • Ubuntu 16.04 源码编译安装PHP7
  • centos5下安装mysql5.7.17
  • CentOS7安装Discuz3.3
  • Centos7.3部署Elasticsearch5.4.0集群
  • CentOS上安装MongoDB 3.2
  • centos7下lamp快速搭建环境
  • Centos 6.5下安装MySQL 5.6
  • CentOS服务器系统下更改Apache默认网站目录
  • 指南:在Github和Git上如何Fork
  • Centos 配置mailx使用外部smtp发送邮件

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • 使用 Linux seq 命令生成数字序列(推荐)
    • CentOS7上安装WordPress
    • Docker桥接网络原理图分享和pipework简单配置
    • CentOS 6.3 FTP搭建
    • linux网络配置工具的使用
    • Centos中完全删除mysql的方法
    • CentOS安装配置mariadb
    • centos7部署LAMP+xcache
    • ASP.NET Core Docker部署
    • docker-compose ports和expose的区别详解

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有