Spark On Yarn 详细配置流程

1、系统与软件准备

 

• 系统：centos7
• 软件：

 

1.  hadoop-2.7.2.tar.gz，请勿选择src版本，否则需要自行编译
2.  jdk-7u79-linux-x64.tar.gz
3.   scala-2.10.3.tgz
4.   spark-1.6.1-bin-hadoop2.6.tgz，选择hadooppre-built版本，否则需要安装后编译
5.   zookeeper-3.3.6.tar.gz

# tar xvzf jdk-7u45-linux-x64.tar.gz -C/usr/local 

# cd /usr/local 

# ln -s jdk1.7.0_45 jdk 

 

# vim /etc/profile 加入以下内容

 

[html] view plain copy

1. export JAVA_HOME=/usr/local/jdk   
2. export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib   
3. export PATH=$PATH:$JAVA_HOME/bin   

 

# source /etc/profile 

2. Scala安装

 

# tar xvzf scala-2.10.3.tgz -C/usr/local 

# cd /usr/local 

# ln -s scala-2.10.3 scala 

  

# vim /etc/profile 加入以下内容

 

[html] view plain copy

1. export SCALA_HOME=/usr/local/scala   
2. export PATH=$PATH:$SCALA_HOME/bin   

 

3. SSH免登录配置

 

#ssh-keygen

在node1下生成的密钥对：id_rsa和id_rsa.pub，默认存储在"~/.ssh"目录下，包括两个文件，id_rsa和id_rsa.pub，分别为私钥和公钥

  将公钥写入信任文件中

#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

       然后修改authorized_keys文件的权限

#chmod 644 ~/.ssh/authorized_keys

       node1中的authorized_keys拷贝至其余节点的~/.ssh目录下，修改SSH配置文件"/etc/ssh/sshd_config"的下列内容（这步可以省略）

RSAAuthentication yes # 启用 RSA 认证 

PubkeyAuthentication yes # 启用公钥私钥配对认证方式 

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

 

#service sshd restart

重启SSH服务

4.主机名设置

 

# vim /etc/hosts 

 

[html] view plain copy

1. 10.25.248.1    node1  
2. 10.25.248.29   node2  
3. 10.25.248.17   node3  

 

 

#vi /etc/sysconfig/network

       HOSTNAME=node1/node2/node3

 

5. Zookeeper安装

 

# mkdir –p /root/data/hadoop/zookeeper/{data,logs}

两个文件夹都需要预先建立好，否则会运行时会报错

 

# vim /usr/local/zookeeper/conf/zoo.cfg

 

[html] view plain copy

1. tickTime=2000  
2. initLimit=10  
3. syncLimit=5  
4.    
5. dataDir=/root/data/hadoop/zookeeper/data  
6. clientPort=2181  
7.    
8. server.1=10.25.248.1:2888:3888  
9. server.2=10.25.248.29:2888:3888  
10. server.3=10.25.248.17:2888:3888  

 

 

接着在/root/data/hadoop/zookeeper/data下分别建立名为myid文件，文件内容为上述zoo.cfg中IP地址对应server.[numb