2015年8月23日

Tornado 教學 (9) - 使用非同步處理機制 ( Use Coroutine with Tornado Web Framework )

前面關於 Tornado 的文章主要介紹 Web Framework 的基礎。接下來,本篇將深入 Tornado 的特點:非同步處理機制。( 其他 Tornado 相關教學可以參考本篇整理 )



暸解非同步機制:
Tornado 受歡迎的原因,在於它的設計著眼於處理 C10K 問題。舉例來說,當 Server 端接收到查詢資料庫的 Request,有許多時間是在等待資料庫的查詢結果而呈現 Blocking 的狀態。若我們可以利用這些等待的時間來處理其他的 Request,就可以增加整體的效能。所以同樣的 Request,在使用 Tornado 的非同步機制處理下,系統不會苦苦等到資料庫回應才繼續工作,而是將先前的請求暫存起來,先服務其他的 Request,等到資料庫查詢回應後繼續處理剛剛未完成的工作。


實作 Asynchronous :
Tornado 歷經多次重大更新,初期版本中實作非同步需要撰寫 callback 來達成目的,而這樣的方式也讓人詬病。因為你如果需要比較複雜的邏輯處理,可能需要多次的 callback 也造成閱讀、理解上的困難度。因此 Tornado 開發團隊提出了方便的 @gen.coroutine Decorator,接下來就直接使用它來示範,就不再示範前面版本的寫法。

開始實作,假設我們今天提供一個 RESTful 服務,內容包含擷取解析其他網站資訊,這時候我們就可以使用非同步機制來提升效能,程式內容參考如下:
#!/usr/bin/env python
import os
import tornado.web
import tornado.gen
import tornado.ioloop
import tornado.options
import tornado.httpclient

tornado.options.define("ip", default='1.1.1.x', help="message...")
tornado.options.define("port", default=8888, help="message...")

url='http://....'

class Async(tornado.web.RequestHandler):
    # 加入 Coroutine,宣告此函式為 Asynchronous
    # 使用時必須搭配 yield,Python3.5 可以使用 async 與 await
    @tornado.gen.coroutine
    def get(self):
        client = tornado.httpclient.AsyncHTTPClient()
        response = yield client.fetch(url)
        # 加入處理邏輯 ...
        self.write("...")

settings= {
    "debug": True,
    "autoreload": True
}

def main():
    tornado.options.parse_command_line()
    app = tornado.web.Application(
            [
                (r'/async', Async)
            ], **settings
        )
    app.listen(tornado.options.options.port, tornado.options.options.ip)
    tornado.ioloop.IOLoop.current().start()

if __name__ == "__main__":
    main()
你可以分別測試一般的與非同步的處理速度與平均回應時間,我是使用 Siege 來測試,使用非同步的機制效能的確提升很多,同樣的時間內可以處理更多 Request。若你還想要再提升效能可以使用 tornado.curl_httpclient.CurlAsyncHTTPClient( ),官方文件中有提到 CurlAsyncHTTPClient 會更快,不過需要另外安裝其他套件:pycurl,我實際測試的結果顯示效能的確比 AsyncHTTPClient 更好。


Environment :
  ・ Arch Linux
  ・ Python 2.7

Reference :
  ・ Tornado


熱門文章