教你一招：只有5GB內(nèi)存如何讀取一個(gè)6GB的數(shù)據(jù)?

　　在數(shù)據(jù)大小比內(nèi)存空間還要大的時(shí)候，怎么去讀取數(shù)據(jù)呢?今天筆者就來分享一下解決這個(gè)問題的使用方法。常見的有兩種思路：

　　思路一：可以分多次來讀取，也就是說通過生成器的方式，單次讀取數(shù)量比較少的數(shù)據(jù)(例如按500MB計(jì)算)進(jìn)行處理，這次處理完后再去讀取后面的500MB數(shù)據(jù)。

　　思路二：Linux常用命令之一的split可以將文件進(jìn)行切割，然后再進(jìn)行數(shù)據(jù)處理，這個(gè)方法的效率相對(duì)來說會(huì)更高。既可以按照文件大小進(jìn)行切割，也可以按照文件行數(shù)來切割。處理完畢后，在Linux下使用cat命令來對(duì)文件進(jìn)行合并。