本文主要包含spark job server,spark history server,jobhistory,hadoop jobhistory,job history report等服务器相关知识,网友希望可以进行参考
spark 查看 job history 日志，sparkjob
SPARK_HOME/conf 下:
spark-defaults.conf 增加如下内容
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”
启动start-history-server.sh
SPARK_HOME/conf 下: 执行 ./start-history-server.sh
spark job history web: master:18080
这样在spark任务运行完成之后,就可以通过web页面查看日志了
history server相关的配置参数描述
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf
尊重原创，未经允许不得转载：http://blog.csdn.net/stark_summer/article/details/46459701