99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

簡介

為了可以通過WebUI控制臺頁面來查看具體的運行細節(jié)，解決應(yīng)用程序運行結(jié)束，無法繼續(xù)查看監(jiān)控集群信息。無法回顧運行的程序細節(jié)，配置開啟spark.history服務(wù).Spark History Server可以很好地解決上面的問題。

創(chuàng)新互聯(lián)服務(wù)項目包括華鎣網(wǎng)站建設(shè)、華鎣網(wǎng)站制作、華鎣網(wǎng)頁制作以及華鎣網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，華鎣網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到華鎣省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

配置文件位置：

$SPARK_HOME$/conf目錄下的spark-defaults.conf文件。默認(rèn)spark-defaults.conf是不存在的，我們可以根據(jù)Spark提供的template文件新建。

配置參數(shù)描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master節(jié)點的ip地址

spark.history.updateInterval
#默認(rèn)值：10，以秒為單位，更新日志相關(guān)信息的時間間隔

spark.history.retainedApplications
#默認(rèn)值：50，在內(nèi)存中保存Application歷史記錄的個數(shù)，如果超過這個值，舊的應(yīng)用程序信息將被刪除，當(dāng)再次訪問已被刪除的應(yīng)用信息時需要重新構(gòu)建頁面。

spark.history.ui.port
#默認(rèn)值：4040，HistoryServer的web端口

spark.history.ui.acls.enable
#默認(rèn)值：false，授權(quán)用戶查看應(yīng)用程序信息的時候是否檢查acl。如果啟用，只有應(yīng)用程序所有者和spark.ui.view.acls指定的用戶可以查看應(yīng)用程序信息;否則，不做任何檢查

spark.eventLog.enabled 
#默認(rèn)值：false ，是否記錄Spark事件，用于應(yīng)用程序在完成后重構(gòu)webUI

spark.eventLog.dir
#默認(rèn)值：file:///tmp/spark-events，保存日志相關(guān)信息的路徑，可以是hdfs://開頭的HDFS路徑，也可以是file://開頭的本地路徑，都需要提前創(chuàng)建

spark.eventLog.compress 
#默認(rèn)值：false,是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認(rèn)使用的是snappy

本地文件存儲日志配置案例：

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

啟動服務(wù)

$SPARK_HOME/sbin/start-history-server.sh

訪問

瀏覽器：http://nodeIP:18080

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享標(biāo)題：SparkHistoryServer配置部署-創(chuàng)新互聯(lián)
路徑分享：http://ef60e0e.cn/article/cesgge.html