Python三大并發(fā)服務(wù)器詳解

1.select

select最早于1983年出現(xiàn)在4.2BSD中，它通過一個(gè)select()系統(tǒng)調(diào)用來監(jiān)視多個(gè)文件描述符的數(shù)組，當(dāng)select()返回后，該數(shù)組中就緒的文件描述符便會(huì)被內(nèi)核修改標(biāo)志位，使得進(jìn)程可以獲得這些文件描述符從而進(jìn)行后續(xù)的讀寫操作。

select目前幾乎在所有的平臺(tái)上支持，其良好跨平臺(tái)支持也是它的一個(gè)優(yōu)點(diǎn)，事實(shí)上從現(xiàn)在看來，這也是它所剩不多的優(yōu)點(diǎn)之一。

select的一個(gè)缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，在Linux上一般為1024，不過可以通過修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制。

另外，select()所維護(hù)的存儲(chǔ)大量文件描述符的數(shù)據(jù)結(jié)構(gòu)，隨著文件描述符數(shù)量的增大，其復(fù)制的開銷也線性增長。同時(shí)，由于網(wǎng)絡(luò)響應(yīng)時(shí)間的延遲使得大量TCP連接處于非活躍狀態(tài)，但調(diào)用select()會(huì)對所有socket進(jìn)行一次線性掃描，所以這也浪費(fèi)了一定的開銷。

原理：

在python中，select函數(shù)是一個(gè)對底層操作系統(tǒng)的直接訪問的接口。它用來監(jiān)控sockets、files和pipes，等待IO完成(Waiting for I/O completion)。當(dāng)有可讀、可寫或是異常事件產(chǎn)生時(shí)，select可以很容易的監(jiān)控到。

select.select(rlist, wlist, xlist[, timeout]) 傳遞三個(gè)參數(shù)，一個(gè)為輸入而觀察的文件對象列表，一個(gè)為輸出而觀察的文件對象列表和一個(gè)觀察錯(cuò)誤異常的文件列表。第四個(gè)是一個(gè)可選參數(shù)，表示超時(shí)秒數(shù)。其返回3個(gè)tuple，每個(gè)tuple都是一個(gè)準(zhǔn)備好的對象列表，它和前邊的參數(shù)是一樣的順序。下面，主要結(jié)合代碼，簡單說說select的使用。

程序過程：

1、該程序主要是利用socket進(jìn)行通信，接收客戶端發(fā)送過來的數(shù)據(jù)，然后再發(fā)還給客戶端。

2、首先建立一個(gè)TCP/IP socket，并將其設(shè)為非阻塞，然后進(jìn)行bind和listen。

3、通過select函數(shù)獲取到三種文件列表，分別對每個(gè)列表的每個(gè)元素進(jìn)行輪詢，對不同socket進(jìn)行不同的處理，最外層循環(huán)直到inputs列表為空為止

4、當(dāng)設(shè)置timeout參數(shù)時(shí)，如果發(fā)生了超時(shí)，select函數(shù)會(huì)返回三個(gè)空列表。

2.poll

poll在1986年誕生于System V Release 3，它和select在本質(zhì)上沒有多大差別，但是poll沒有最大文件描述符數(shù)量的限制。

poll和select同樣存在一個(gè)缺點(diǎn)就是，包含大量文件描述符的數(shù)組被整體復(fù)制于用戶態(tài)和內(nèi)核的地址空間之間，而不論這些文件描述符是否就緒，它的開銷隨著文件描述符數(shù)量的增加而線性增大。

另外，select()和poll()將就緒的文件描述符告訴進(jìn)程后，如果進(jìn)程沒有對其進(jìn)行IO操作，那么下次調(diào)用select()和poll()的時(shí)候?qū)⒃俅螆?bào)告這些文件描述符，所以它們一般不會(huì)丟失就緒的消息，這種方式稱為水平觸發(fā)(Level Triggered)。

3.epoll

直到Linux2.6才出現(xiàn)了由內(nèi)核直接支持的實(shí)現(xiàn)方法，那就是epoll，它幾乎具備了之前所說的一切優(yōu)點(diǎn)，被公認(rèn)為Linux2.6下性能最好的多路I/O就緒通知方法。

epoll可以同時(shí)支持水平觸發(fā)和邊緣觸發(fā)(Edge Triggered，只告訴進(jìn)程哪些文件描述符剛剛變?yōu)榫途w狀態(tài)，它只說一遍，如果我們沒有采取行動(dòng)，那么它將不會(huì)再次告知，這種方式稱為邊緣觸發(fā))，理論上邊緣觸發(fā)的性能要更高一些，但是代碼實(shí)現(xiàn)相當(dāng)復(fù)雜。

epoll同樣只告知那些就緒的文件描述符，而且當(dāng)我們調(diào)用epoll_wait()獲得就緒文件描述符時(shí)，返回的不是實(shí)際的描述符，而是一個(gè)代表就緒描述符數(shù)量的值，你只需要去epoll指定的一個(gè)數(shù)組中依次取得相應(yīng)數(shù)量的文件描述符即可，這里也使用了內(nèi)存映射(mmap)技術(shù)，這樣便徹底省掉了這些文件描述符在系統(tǒng)調(diào)用時(shí)復(fù)制的開銷。

另一個(gè)本質(zhì)的改進(jìn)在于epoll采用基于事件的就緒通知方式。在select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過epoll_ctl()來注冊一個(gè)文件描述符，一旦基于某個(gè)文件描述符就緒時(shí)，內(nèi)核會(huì)采用類似callback的回調(diào)機(jī)制，迅速激活這個(gè)文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait()時(shí)便得到通知。友情提示：獲得更多學(xué)科學(xué)習(xí)視頻+資料+源碼，請加QQ：3276250747。

本文版權(quán)歸黑馬程序員人工智能+Python學(xué)院所有，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明作者出處。謝謝！

作者：黑馬程序員工智能+Python培訓(xùn)學(xué)院

首發(fā)：http://python.itheima.com/