Plotting是以構(gòu)建視覺符號(hào)為核心的接口,可以結(jié)合各種視覺元素(例如,點(diǎn)、圓、線等其他元素)和工具(例如,縮放、保存、重置等其他工具)創(chuàng)建可視化圖形查看全文>>
網(wǎng)絡(luò)爬蟲歷經(jīng)幾十年的發(fā)展,技術(shù)變得更加多樣化,并結(jié)合不同的需求衍生出類型眾多的網(wǎng)絡(luò)爬蟲。網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)大致可以分為4種類型,分別是通用網(wǎng)絡(luò)爬蟲、聚焦網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲、深層網(wǎng)絡(luò)爬蟲。接下來,對(duì)增量式爬蟲和深層網(wǎng)絡(luò)爬蟲這兩種爬蟲分別進(jìn)行介紹。查看全文>>
大家試想一下,如果需要判斷的情況大于兩種,if和if-else語句顯然是無法完成判斷的。這時(shí),出現(xiàn)了if-elif判斷語句,該語句可以判斷多種情況...查看全文>>
優(yōu)化器是數(shù)據(jù)庫的核心,決定了每條語句如何執(zhí)行。如果將數(shù)據(jù)庫比作一支軍隊(duì),那么優(yōu)化器就是這支軍隊(duì)的主將、軍師,需要運(yùn)籌帷幄,決勝于千里之外。俗話說一將無能累死三軍,同樣的一條語句,選擇不同的查詢計(jì)劃,最終的運(yùn)行時(shí)間可能會(huì)相差很大。對(duì)優(yōu)化器的研究一直是學(xué)術(shù)界比較活躍的領(lǐng)域,優(yōu)化是永無止境,可以說在這塊投入多大的精力都不為過。 從優(yōu)化方法上,大致可以分為三類:查看全文>>
在大數(shù)據(jù)領(lǐng)域,安全永遠(yuǎn)是一個(gè)繞不開的話題。對(duì)于一個(gè)簡(jiǎn)單安裝上線的 hadoop 集群,我們可以認(rèn)為有如下安全隱患:如,可以人為的添加一個(gè)客戶端節(jié)點(diǎn),并以此假冒的客戶端來獲取集群數(shù)據(jù)。對(duì)于一個(gè)假冒的客戶端節(jié)點(diǎn),成功加入集群就能夠偽裝 datanode 讓得到 namenode 指派的任務(wù)和數(shù)據(jù)。創(chuàng)建一個(gè)HDFS賬戶,就可以得到 hadoop 文件系統(tǒng)的最高權(quán)限。Kerberos 主要用來做網(wǎng)絡(luò)通訊中的身份認(rèn)證,幫助我們高效、安全的識(shí)別訪問者。那么 Kerberos 是如何做身份認(rèn)證的呢?查看全文>>
?Kafka中的Rebalance稱之為再均衡,是Kafka中確保Consumer group下所有的consumer如何達(dá)成一致,分配訂閱的topic的每個(gè)分區(qū)的機(jī)制。Rebalance觸發(fā)的時(shí)機(jī)有:ce觸發(fā)的時(shí)機(jī)有:查看全文>>