更新時間:2022-12-06 來源:黑馬程序員 瀏覽量:
Standalone模式是Spark自帶的一種集群模式,不同于前面本地模式啟動多個進(jìn)程來模擬集群的環(huán)境,Standalone模式是真實(shí)地在多個機(jī)器之間搭建Spark集群的環(huán)境,完全可以利用該模式搭建多機(jī)器集群,用于實(shí)際的大數(shù)據(jù)處理。
StandAlone 是完整的Spark運(yùn)行環(huán)境,其中: Master角色以Master進(jìn)程存在, Worker角色以Worker進(jìn)程存在 Driver和Executor運(yùn)行于Worker進(jìn)程內(nèi), 由Worker提供資源供給它們運(yùn)行。
StandAlone集群在進(jìn)程上主要有3類進(jìn)程:
Master角色, 管理整個集群資源,并托管運(yùn)行各個任務(wù)的Driver
Worker角色, 管理每個機(jī)器的資源,分配對應(yīng)的資源來運(yùn)行Executor(Task); 每個從節(jié)點(diǎn)分配資源信息給Worker管理,資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。
Spark Application運(yùn)行完成以后,保存事件日志數(shù)據(jù)至HDFS,啟動HistoryServer可以查看應(yīng)用運(yùn)行相關(guān)信息。Spark的歷史服務(wù)器, 功能: 將Spark運(yùn)行的程序的歷史日志記錄下來, 通過歷史服務(wù)器方便用戶查看程序運(yùn)行的歷史信息。