背景:
線上機器,需要過濾access日志,發送給另外一個api
期初是單進程,效率太低,改為多進程發送后,查看日志中偶爾會出現異常錯誤(忘記截圖了。。。)
總之就是端口不夠用了報錯
原因:
每一條日志都是一次請求發送給api,短連接產生大量time_wait狀態,占用了大量端口
這種高并發導致的大量time_wait狀態內核調優基本是沒用的,后來改為長連接解決問題
第一版短連接版本關鍵代碼如下
因涉及具體業務信息,只貼出了關鍵部分代碼
import pycurlwhere True: url=myqueue.get() send_msg=pycurl.Curl() send_msg.setopt(pycurl.URL,url) send_msg.perform() print send_msg.getinfo(send_msg.HTTP_CODE)
修改后長連接版本如下:
采用requests庫
import requestsclient=requests.session()headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}where True: url=myqueue.get() r=client.get(url,headers=headers) print r.status_code以上這篇詳談python http長連接客戶端就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。
新聞熱點
疑難解答