? Spark Streaming是構(gòu)建在Spark上的實時計算框架,且是對Spark Core API的一個擴展,它能夠?qū)崿F(xiàn)對流數(shù)據(jù)進行實時處理,并具有很好的可擴展性、高吞吐量和容錯性。Spark Streaming具有如下顯著特點。查看全文>>
近年來,Web應用、網(wǎng)絡監(jiān)控、傳感監(jiān)測、電信金融、生產(chǎn)制造等領域,對數(shù)據(jù)實時處理的需求不斷增強,而Spark中的SparkStreaming實時計算框架就是為了實現(xiàn)對數(shù)據(jù)實時處理的需求而設計的。在電子商務中,淘寶、京東等網(wǎng)站從用戶點擊的行為(如加入購物車)和瀏覽的歷史記錄中發(fā)現(xiàn)用戶的購買意圖和興趣,然后通過Sparkstreaming實時計算框架分析處理,為之推薦相關(guān)商品,從而有效地提高商品的銷售量,同時也增加了用戶的滿意度,可謂是“一舉兩得”。查看全文>>
Kafka是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它在實時計算系統(tǒng)中有著非常強大的功能。通常情況下,使用Kafka構(gòu)建系統(tǒng)或應用程序之間的數(shù)據(jù)管道,用來轉(zhuǎn)換或響應實時數(shù)據(jù),使數(shù)據(jù)能夠及時地進行業(yè)務計算,得出相應結(jié)果。查看全文>>
大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進行傳輸。為了解決大數(shù)據(jù)集的傳輸困難,就必須要構(gòu)建一個消息系統(tǒng)。一個消息系統(tǒng)負責將數(shù)據(jù)從一個應用程序傳遞到另外一個應用程序中,應用程序只關(guān)注數(shù)據(jù),無須關(guān)注數(shù)據(jù)在多個應用之間是如何傳遞的,分布式消息傳遞基于可靠的消息隊列,在客戶端應用和消息系統(tǒng)之間異步傳遞消息。查看全文>>
了解Flink,了解集群環(huán)境搭建運維,學習Flink中重要概念、原理和API的用法,通過知識點 + 案例教學法幫助小白快速掌握Flink。查看全文>>
Hadoop與Spark都是大數(shù)據(jù)計算框架,但是兩者各有自己的優(yōu)勢,Spark與Hadoop的區(qū)別主要有以下幾點。查看全文>>