在 HBase 中,所有突變要么存儲(chǔ)數(shù)據(jù),要么將數(shù)據(jù)標(biāo)記為刪除;沒(méi)有就地更新或刪除之類的東西。 HappyBase 提供了進(jìn)行單次插入或刪除的方法,以及一次執(zhí)行多個(gè)突變的批處理 API。查看全文>>
多進(jìn)程爬蟲一般也被視為分布式爬蟲的基礎(chǔ),在單機(jī)上可以使用。通常來(lái)說(shuō)大型網(wǎng)站采用分布式來(lái)部署服務(wù)器,能夠采用多進(jìn)程同時(shí)間在不同的服務(wù)器上進(jìn)行爬取。查看全文>>
Python自帶的urllib和urllib2,也可以使用requests這種第三方庫(kù),或者Scrapy框架。urllib和urllib2模塊都可以做與請(qǐng)求URL相關(guān)的操作,但它們提供了不同的功能。查看全文>>
根據(jù)以往的MySQL使用經(jīng)驗(yàn),MySQL單表在 5000 萬(wàn)行以內(nèi)時(shí),性能較好,單表超過(guò)5000萬(wàn)行后,數(shù)據(jù)庫(kù)性能、可維護(hù)性都會(huì)極劇下降。當(dāng)然這時(shí)候可以做MySQL分庫(kù)分表,如使用Mycat或Sharding-jdbc,分庫(kù)分表能否能解決MySQL的問(wèn)題呢?查看全文>>
循環(huán)復(fù)制是指將一個(gè)序列循環(huán)地復(fù)制多次,形成一個(gè)更長(zhǎng)的序列。而雙M結(jié)構(gòu)是指將一個(gè)序列分為兩個(gè)子序列,然后將它們交錯(cuò)組合,形成一個(gè)新的序列。查看全文>>