首頁(yè)最新資訊

全部 常見問題 新聞動(dòng)態(tài) 技術(shù)文章 技術(shù)問答

    • Sqoop操作命令之Sqoop工具指令介紹

      Sqoop工具操作簡(jiǎn)單，它提供了一系列的工具指令，來(lái)進(jìn)行數(shù)據(jù)的導(dǎo)入、導(dǎo)出操作等。使用Sqoop解壓包中bin目錄下的“sqoop help”指令可以查看Sqoop支持的所有工具指令，具體效果如圖1所示。查看全文>>

      技術(shù)文章2021-07-26 |黑馬程序員 |Sqoop,sqoop指令

    • Zookeeper數(shù)據(jù)發(fā)布與訂閱的主要應(yīng)用場(chǎng)景

      數(shù)據(jù)發(fā)布與訂閱模型，即所謂的全局配置中心，顧名思義就是發(fā)布者將需要全局統(tǒng)一管理的數(shù)據(jù)發(fā)布到Zookeeper節(jié)點(diǎn)上，供訂閱者動(dòng)態(tài)獲取數(shù)據(jù)，實(shí)現(xiàn)配置信息的集中式管理和動(dòng)態(tài)更新。例如全局的配置信息，服務(wù)式服務(wù)框架的服務(wù)地址列表等就非常適合使用。接下來(lái)，我們介紹一些數(shù)據(jù)發(fā)布與訂閱的主要應(yīng)用場(chǎng)景。查看全文>>

      技術(shù)文章2021-07-26 |黑馬程序員 |Zookeeper

    • Hadoop高可用集群搭建詳細(xì)教程【黑馬程序員】

      掌握了Hadoop集群中的高可用架構(gòu)后，接下來(lái)，我們來(lái)手把手教大家搭建一個(gè)Hadoop高可用集群，具體步驟如下：查看全文>>

      技術(shù)文章2021-07-26 |黑馬程序員 |高可用集群,高可用架構(gòu),Hadoop

    • Hive數(shù)據(jù)分層有哪些優(yōu)點(diǎn)？具體每一層含義是什么？

      大多數(shù)情況下，我們完成的數(shù)據(jù)體系卻是依賴復(fù)雜、層級(jí)混亂的，因此，我們需要一套行之有效的數(shù)據(jù)組織和管理方法來(lái)讓我們的數(shù)據(jù)體系更有序，這就是談到的數(shù)據(jù)分層。數(shù)據(jù)分層并不能解決所有的數(shù)據(jù)問題，但是，數(shù)據(jù)分層卻可以給我們帶來(lái)如下的好處：查看全文>>

      技術(shù)文章2021-07-23 |黑馬程序員 |Hive數(shù)據(jù)倉(cāng)庫(kù)，Hive安裝

    • Combiner操作，Combiner和partition的作用分別是什么？

      combiner其實(shí)屬于優(yōu)化方案，由于帶寬限制，應(yīng)該盡量map和reduce之間的數(shù)據(jù)傳輸數(shù)量。它在Map 端把同一個(gè)key的鍵值對(duì)合并在一起并計(jì)算，計(jì)算規(guī)則與reduce一致，所以combiner也可以看作特殊的Reducer。查看全文>>

      技術(shù)文章2021-07-20 |黑馬程序員 |Combiner的作用,partition的作用

    • Shuffle的工作機(jī)制是什么？

      map階段處理的數(shù)據(jù)如何傳遞給reduce階段，是MapReduce框架中關(guān)鍵的一個(gè)流程，這個(gè)流程就叫shuffle。本章節(jié)內(nèi)容來(lái)看一下shuffle的工作流程和工作機(jī)制。查看全文>>

      技術(shù)文章2021-07-20 |黑馬程序員 |Shuffle的工作機(jī)制
和我們?cè)诰€交談！