CentOS7.2下Hadoop2.7.2的集群搭建
1.基本环境:
操作系统:
Centos 7.2.1511
三台虚机:
192.168.163.224 master
192.168.163.225 node1
192.168.163.226 node2
软件包
hadoop-2.7.2.tar.gz
jdk-7u79-linux-x64.tar.gz
2.配置系统环境
配置ntp时间同步
参考http://bigtrash.blog.51cto.com/8966424/1826481
修改hostname
192.168.163.224主机:
echo"master">/etc/hostname192.168.163.225主机:
echo"node1">/etc/hostname192.168.163.226主机:
echo"node2">/etc/hostnamemaster上修改hosts文件
echo"192.168.163.224master">>/etc/hostsecho"192.168.163.225node1">>/etc/hostsecho"192.168.163.225node2">>/etc/hosts同步到node1,node2上的主机
scp/etc/hostsnode1:/etc/scp/etc/hostsnode2:/etc/各台主机上相互ping,测试是否可以通过host连通
pingmasterpingnode1pingnode2master,node1,node2上关闭防火墙
systemctlstopfirewalldsystemctldisablefirewalld3.配置hadoop环境
master,node1,node2上安装jdk
rpm-qa|grepopenjdk#检查openjdk,存在则删除yumremove*-openjdk-*####删除openjdk#####安装sunjdk
<span style="font-family:'comic sans ms';">###yum install glibc.i686(64位系统安装32位包,需要安装)<br></span><span style="font-family:sans-serif;"> tar-zxvfjdk-7u79-linux-x64.tar.gz<br></span><span style="font-family:sans-serif;"> mv./jdk1.7.0_79/usr/</span>master,node1,node2上创建hadoop用户
useradd hadoop #增加hadoop用户,用户组、home目录、终端使用默认
passwd hadoop #修改密码
建议在学习阶段将hadoop用户加入sudo权限管理,简单方法如下
1.执行visudo命令
2.在root ALL=(ALL) ALL 后加入
hadoop ALL=(ALL) ALL
master,node1,node2上进入hadoop用户:
su - hadoop
master,node1,node2上无密钥连接:
master上的hadoop用户通过rsa算法生成非对称密钥对:
ssh-keygen-trsacd/home/hadoop/.ssh/cpid_rsa.pubauthorized_keyschmodgo-wxauthorized_keysmaster上的公钥authorized_keys拷贝到node1,node2上的hadoop用户
scpauthorized_keysnode1:/home/hadoop/.ssh/scpauthorized_keysnode2:/home/hadoop/.ssh/可通过如下命令测试
ssh node1
ssh node2
为方便node1,node2中hadoop用户可以同时登录master,这里我们集群中的所有用户共用一个密钥
scp~/.ssh/id_rsanode1:/home/hadoop/.ssh/scp~/.ssh/id_rsanode2:/home/hadoop/.ssh/master,node1,node2上修改环境变量
vi/etc/profileJAVA_HOME=/usr/jdk1.7.0_79HADOOP_HOME=/usr/local/hadoopexportPATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATHsu-hadoop#重新读取环境变量master,node1,node2上创建相关目录
sudomkdir-p/usr/local/hadoopsudochown-Rhadoop:hadoop/usr/local/hadoop
您可能想查找下面的文章:

