• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6

CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6等服务器相关知识,网友希望可以进行参考

CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6


文件配置:

(注:修改配置文件需要使用root用户,否则修改失败)

vim /etc/sysconfig/network

修改主机名为:HOSTNAME=Master

vim /etc/sysconfig/network-scripts/ifcfg-eth0

查看IP地址、网关、DNS服务器是否正确

vim /etc/sysconfig/network-scripts/ifcgf-eth0

如果不正确,进行修改

ifconfig

修改后的结果

 

vim /etc/hosts

配置hosts文件,主机和IP地址映射

(注:IP地址根据要求而定)

192.168.1.2 Master

192.168.1.3 Slave1

修改后的结果

 

SSH配置:

(注:如果ssh没有安装,可在root下安装)

yum install ssh 

安装SSH协议

yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)

service sshd restart

启动服务

 

(注:以下操作在普通用户下操作)

ssh Master

登录本机,此时需要密码

(注:设置无密码登录本机)

exit

退出刚才的 ssh Master

cd ~/.ssh/

若没有该目录,请先执行一次ssh Master

ssh-keygen -t rsa

会有提示,都按回车就可以

cat id_rsa.pub >> authorized_keys

加入授权

(注:经过上述步骤,还是会提示输入密码,要做下面两个修改)

 

chmod 600 ~/.ssh/authorized_keys

修改文件"authorized_keys"权限

su -

进入root用户,在root用户下操作

vim /etc/ssh/sshd_config

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容

###############

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

###############

service sshd restart

重启

exit

退出root用户

 

ssh Master

登录本机,此时不需要密码

 

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

复制文件"id_rsa.pub"到服务器IP为"192.168.1.3"的用户为"hadoop"的"/home/hadoop/"下面

 

(注:下面在Slave1上操作)

mkdir ~/.ssh

在"/home/hadoop/"下创建".ssh"文件夹

这一步并不是必须的,如果在Slave1的"/home/hadoop"已经存在就不需要创建了,因为我们之前并没有对Slave机器做过无密码登录配置,所以该文件是不存在的。用下面命令进行创建。

(注:用hadoop登录系统,如果不涉及系统文件修改,一般情况下都是用我们之前建立的普通用户hadoop进行执行命令)

 

chmod 700 ~/.ssh

修改文件夹".ssh"的用户权限,把他的权限修改为"700"

(注:如果不进行,即使你按照前面的操作设置了"authorized_keys"权限,并配置了"/etc/ssh/sshd_config",还重启了sshd服务,在Master能用"ssh localhost"进行无密码登录,但是对Slave1进行登录仍然需要输入密码,就是因为".ssh"文件夹的权限设置不对。这个文件夹".ssh"在配置SSH无密码登录时系统自动生成时,权限自动为"700",如果是自己手动创建,它的组权限和其他权限都有,这样就会导致RSA无密码远程登录失败)

 

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

把Master的公钥追加到Slave1的授权文件"authorized_keys"中去

 

(注:用root用户修改"/etc/ssh/sshd_config",方法同上)

su -

进入root用户

vim /etc/ssh/sshd_config

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容

###############

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

###############

service sshd restart

重启

exit

退出root用户

 

(注:在Master上登录Slave1)

ssh Slave1

登录Slave1,不需要密码

 

Java环境配置:

计划:

使用U盘将hadoop-2.6.0.tar和jdk-7u51-linux-x64.tar拷贝到CentOS系统中

备选计划1:

修改主机IP,直接上网下载

备选计划2:

按照教程要求,搭建VSFTP服务器<

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6

相关文章

  • R.net简介(原创翻译),r.net简介原创翻译
  • Hadoop之——SQOOP笔记,hadoopsqoop
  • springmvc No mapping found for HTTP request with URI in Dispatc,springmvcdispatc
  • Storm中Trident流合并的例子demo,stormtrident
  • 博文点评后的一点闲扯,博文点评闲扯
  • 万法归宗之Hadoop编程无界限,万法归宗hadoop
  • 我的hadoop2.4安装过程,hadoop2.4安装过程
  • Ryu拓扑发现原理分析,Ryu拓扑原理分析
  • 可穿戴KEY带来的身份认证的革命,key身份认证
  • 最小 Docker 镜像 hello-world 剖析,dockerhello-world

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • Hbase详解—–管理 Splitting,hbase详解splitting
    • Spark开发指南,spark指南
    • Apache Spark的设计思路,apachespark
    • JOIN操作,数据库join操作
    • 博文点评后的一点闲扯,博文点评闲扯
    • hadoop集群只有一个datanode启动问题,hadoop集群datanode
    • 商用公有云安全调研,云安全调研
    • Ambari Metrics介绍,ambarimetrics介绍
    • Linux下libsvm的安装及简单练习,linuxlibsvm练习
    • 关于云服务器的瞎想,云服务器瞎想

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有