CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6
文件配置:
(注:修改配置文件需要使用root用户,否则修改失败)
vim /etc/sysconfig/network
修改主机名为:HOSTNAME=Master
vim /etc/sysconfig/network-scripts/ifcfg-eth0
查看IP地址、网关、DNS服务器是否正确
vim /etc/sysconfig/network-scripts/ifcgf-eth0
如果不正确,进行修改
ifconfig
修改后的结果
vim /etc/hosts
配置hosts文件,主机和IP地址映射
(注:IP地址根据要求而定)
192.168.1.2 Master
192.168.1.3 Slave1
修改后的结果
SSH配置:
(注:如果ssh没有安装,可在root下安装)
yum install ssh
安装SSH协议
yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
service sshd restart
启动服务
(注:以下操作在普通用户下操作)
ssh Master
登录本机,此时需要密码
(注:设置无密码登录本机)
exit
退出刚才的 ssh Master
cd ~/.ssh/
若没有该目录,请先执行一次ssh Master
ssh-keygen -t rsa
会有提示,都按回车就可以
cat id_rsa.pub >> authorized_keys
加入授权
(注:经过上述步骤,还是会提示输入密码,要做下面两个修改)
chmod 600 ~/.ssh/authorized_keys
修改文件"authorized_keys"权限
su -
进入root用户,在root用户下操作
vim /etc/ssh/sshd_config
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容
###############
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
###############
service sshd restart
重启
exit
退出root用户
ssh Master
登录本机,此时不需要密码
scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
复制文件"id_rsa.pub"到服务器IP为"192.168.1.3"的用户为"hadoop"的"/home/hadoop/"下面
(注:下面在Slave1上操作)
mkdir ~/.ssh
在"/home/hadoop/"下创建".ssh"文件夹
这一步并不是必须的,如果在Slave1的"/home/hadoop"已经存在就不需要创建了,因为我们之前并没有对Slave机器做过无密码登录配置,所以该文件是不存在的。用下面命令进行创建。
(注:用hadoop登录系统,如果不涉及系统文件修改,一般情况下都是用我们之前建立的普通用户hadoop进行执行命令)
chmod 700 ~/.ssh
修改文件夹".ssh"的用户权限,把他的权限修改为"700"
(注:如果不进行,即使你按照前面的操作设置了"authorized_keys"权限,并配置了"/etc/ssh/sshd_config",还重启了sshd服务,在Master能用"ssh localhost"进行无密码登录,但是对Slave1进行登录仍然需要输入密码,就是因为".ssh"文件夹的权限设置不对。这个文件夹".ssh"在配置SSH无密码登录时系统自动生成时,权限自动为"700",如果是自己手动创建,它的组权限和其他权限都有,这样就会导致RSA无密码远程登录失败)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
把Master的公钥追加到Slave1的授权文件"authorized_keys"中去
(注:用root用户修改"/etc/ssh/sshd_config",方法同上)
su -
进入root用户
vim /etc/ssh/sshd_config
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容
###############
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
###############
service sshd restart
重启
exit
退出root用户
(注:在Master上登录Slave1)
ssh Slave1
登录Slave1,不需要密码
Java环境配置:
计划:
使用U盘将hadoop-2.6.0.tar和jdk-7u51-linux-x64.tar拷贝到CentOS系统中
备选计划1:
修改主机IP,直接上网下载
备选计划2:
按照教程要求,搭建VSFTP服务器<

