本文主要包含大数据,spark,hive等服务器相关知识,jianchow希望可以进行参考
pache Spark 现在是大数据中非常流行的处理引擎，简单的API、内存计算、很好的性能、一站式的解决方案、良好的生态，Spark是大数据中最火的明星AngelaBaby。在Spark内部的多个组件中，SQL组件也是很多公司用的最多的一个内部组件。由于Spark SQL并不适用于大并发的场景，所以在实际的生产过程中发现，由于SparkSQL并不能限制用户数，经常会有过多的用户以及过多的任务，导致Spark SQL 的Thrift Server服务非常不稳定。
这个问题在生产过程中非常实际，我们一般建议使用开源软件 HAProxy来解决，下面主要叙述一下具体的解决步骤；顺带一句HAproxy不仅可以解决Spark SQL的连接数，也可以用来用于部署Spark的HA。
安装
yum -y install gcc automake autoconf libtool make
至HAProxy的官网网站http://www.haproxy.org/下载最新版本的安装包haproxy-1.7.5.tar.gz。
[root@zdh223 ~]#tar zxvf haproxy-1.7.5.tar.gz
[root@zdh223 ~]#cd haproxy-1.7.5
[root@zdh223 ~]#make TARGET=zdh221
[root@zdh223 ~]#make install
安装结束。
在任意目录下执行 haproxy –vv 如果能正确显示haproxy的版本号，即表示安装正确。
配置
在haproxy-1.7.5目录下创建文件sparksql.cfg，文件名可以任意。内容如下：
global daemon nbproc 1 pidfile /opt/haproxy-1.4.24/haproxy.pid ulimit-n 65535 defaults mode tcp #mode { tcp|http|health }，tcp 表示4层，http表示7层，health仅作为健康检查使用 retries 2 #尝试2次失败则从集群摘除 option redispatch #如果失效则强制转换其他服务器 option abortonclose #连接数过大自动关闭 maxconn 1024 #最大连接数 timeout connect 1d #连接超时时间，重要，hive查询数据能返回结果的保证 timeout client 1d #同上 timeout server 1d #同上 timeout check 2000 #健康检查时间 log 127.0.0.1 local0 err #[err warning info debug] listen admin_stats #定义管理界面 bind 0.0.0.0:8040 #管理界面访问IP和端口 mode http #管理界面所使用的协议 maxconn 10 #最大连接数 stats refresh 30s #30秒自动刷新 stats uri / #访问url stats realm Hive\ Haproxy #验证窗口提示 stats auth dc:dc #401验证用户名密码 listen hive #hive后端定义 bind 0.0.0.0:10000 #ha作为proxy所绑定的IP和端口 mode tcp #以4层方式代理，重要 balance leastconn #调度算法 'leastconn' 最少连接数分配，或者 'roundrobin'，轮询分配 maxconn 1024 #最大连接数 server hive_1 dc-dev004.dx.momo.com:10002 check inter 180000 rise 1 fall 2 server hive_2 dc-dev005.dx.momo.com:10002 check inter 180000 rise 1 fall 2 #释义：server 主机代名(你自己能看懂就行)，IP:端口 每180000毫秒检查一次。也就是三分钟。 #hive每有10000端口的请求就会创建一个log，设置短了，/tmp下面会有无数个log文件，删不完。 #释义：server 主机代名，IP:端口 每180000毫秒检查一次。也就是三分钟。 蓝色部分配置需要重点关注，视实际情况配置。
<