国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

解決python線程卡死的問題

2020-02-16 01:12:08
字體:
來源:轉載
供稿:網友

1. top命令和日志方式判定卡死的位置

python代碼忽然卡死,日志不輸出,通過如下方式可以確定線程確實已經死掉了:

# top 命令

top命令可以看到機器上所有線程的執行情況,%CPU和%MEM可以看出線程消耗的資源情況

由于機器上線程數量太多,可能要查看的線程的信息在top命令當前屏幕上顯示不出來可以通過如下方式查看

在top命令下輸入:u

接下來會提示輸入用戶名,就可以查看該用戶所執行的所有線程

Which user (blank for all): denglinjie

這樣就可以看到degnlinjie用戶的所有線程

可以看到那幾個卡死線程的%CPU和%MEM都為0,說明線程根本沒有消耗資源,那么可以看出線程已經卡死了

接下來通過打日志的方式來確定線程究竟是卡死在哪里了,線程卡死的地方大多數都是在io或者http請求那,所以以后遇到線程卡死的情況,就通過打日志的方式來確定卡死的位置,最終定位到問題確實是一個http服務掛掉了,而且此時requests.get()我雖然設置了超時,但是竟然無效

2 . 服務進程數量不足導致的客戶端進程卡死

服務端代碼:

handler = SimilarityService()transport = TSocket.TServerSocket('10.134.113.75', 1234)factory = TBinaryProtocol.TBinaryProtocolFactory()processor = Processor(handler)server = TProcessPoolServer.TProcessPoolServer(processor, transport)server.setNumWorkers(10)server.serve()

客戶端代碼

docQue = queues.Queue(maxsize=1000)pCount = 15  class ParseSaveEsProcess(multiprocessing.Process):   def __init__(self, threadId):    self.threadId = threadId    multiprocessing.Process.__init__(self)   def run(self):    global docQue    f = open('recall_match_file_all_simi.lst.%s' % self.threadId, 'w')    try:      transport = TSocket.TSocket('10.134.113.75', 1234)      transport = TTransport.TBufferedTransport(transport)      protocol = TBinaryProtocol.TBinaryProtocol(transport)      client = Client(protocol)      transport.open()       while True:        line = docQue.get(block=True)        if not line:          print 'thread%d run over' % self.threadId            break         p = line.split('/t')        if len(p) >= 6 and p[5] == 'simi_high':          simi_str = client.calculate_similarity_by_itemurl(p[0])          f.write(line + '/t' + simi_str + '/n')        else:          f.write(line + '/n')        transport.close()    except Thrift.TException as e:      print str(e)      pass   class PutUrlProcess(multiprocessing.Process):   def __init__(self):    multiprocessing.Process.__init__(self)   def run(self):    global docQue    for line in open('recall_match_file.lst', 'r'):      baikeid = line.strip()      docQue.put(baikeid, block=True)     for i in range(pCount):      docQue.put(None, block=True)  if __name__ == '__main__':  putProcess = PutUrlProcess()  putProcess.start()   for i in range(pCount):    parseProcess = ParseSaveEsProcess(i)    parseProcess.start()            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 唐河县| 方正县| 云南省| 孙吴县| 宁波市| 伽师县| 天峻县| 高淳县| 凌云县| 马边| 黄浦区| 章丘市| 茌平县| 永修县| 济源市| 哈巴河县| 承德市| 屯留县| 建水县| 赤峰市| 彝良县| 大丰市| 安顺市| 扎赉特旗| 阳朔县| 和林格尔县| 新闻| 海盐县| 遂川县| 驻马店市| 深圳市| 桂平市| 德兴市| 五大连池市| 淳安县| 昭觉县| 莱芜市| 大荔县| 河曲县| 南召县| 扎赉特旗|