Standalone是什么？Standalone集群的三類(lèi)進(jìn)程

Standalone是什么

Standalone模式是Spark自帶的一種集群模式，不同于前面本地模式啟動(dòng)多個(gè)進(jìn)程來(lái)模擬集群的環(huán)境，Standalone模式是真實(shí)地在多個(gè)機(jī)器之間搭建Spark集群的環(huán)境，完全可以利用該模式搭建多機(jī)器集群，用于實(shí)際的大數(shù)據(jù)處理。

StandAlone 是完整的Spark運(yùn)行環(huán)境,其中: Master角色以Master進(jìn)程存在, Worker角色以Worker進(jìn)程存在 Driver和Executor運(yùn)行于Worker進(jìn)程內(nèi), 由Worker提供資源供給它們運(yùn)行。

StandAlone集群在進(jìn)程上主要有3類(lèi)進(jìn)程:

（1）主節(jié)點(diǎn)Master進(jìn)程：

Master角色, 管理整個(gè)集群資源，并托管運(yùn)行各個(gè)任務(wù)的Driver

（2）從節(jié)點(diǎn)Workers：

Worker角色, 管理每個(gè)機(jī)器的資源，分配對(duì)應(yīng)的資源來(lái)運(yùn)行Executor(Task); 每個(gè)從節(jié)點(diǎn)分配資源信息給Worker管理，資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。

（3）歷史服務(wù)器HistoryServer(可選)：

Spark Application運(yùn)行完成以后，保存事件日志數(shù)據(jù)至HDFS，啟動(dòng)HistoryServer可以查看應(yīng)用運(yùn)行相關(guān)信息。Spark的歷史服務(wù)器, 功能: 將Spark運(yùn)行的程序的歷史日志記錄下來(lái), 通過(guò)歷史服務(wù)器方便用戶查看程序運(yùn)行的歷史信息。