importlib 模塊的作用

模塊，是一個一個單獨(dú)的py文件 包，里面包含多個模塊（py文件）

動態(tài)導(dǎo)入模塊，這樣就不用寫那么多的import代碼， 典型的例子： 自動同步服務(wù)，每個網(wǎng)站都有一個py文件。主進(jìn)程里收到同步任務(wù)，根據(jù)名稱來動態(tài)導(dǎo)入對應(yīng)的py文件，這樣就不用寫那么多的import代碼。（有點(diǎn)類似java的工廠方法）

但是，importlib并不能解決我在線修改py源碼，再不重啟進(jìn)程的情況下，使修改生效。 這種情況，可以使用reload()

reload方法

為防止兩個模塊互相導(dǎo)入的問題，Python默認(rèn)所有的模塊都只導(dǎo)入一次，如果需要重新導(dǎo)入模塊， Python2.7可以直接用reload()，Python3可以用下面幾種方法：

方法一：基本方法 from imp import reload reload(module)

方法二：按照套路，可以這樣 import imp imp.reload(module)

方法三：看看imp.py，有發(fā)現(xiàn)，所以還可以這樣 import importlib importlib.reload(module)

方法四：根據(jù)天理，當(dāng)然也可以這樣 from importlib import reload reload(module)

在多進(jìn)程的 程序中，一個進(jìn)程的reload是無法影響另一個進(jìn)程的

例子：

# 在主進(jìn)程中啟動多進(jìn)程def begin():  """ 啟動多進(jìn)程 """  plist = []  for i in xrange(Num_process):    p = Process(target=pre_run)    p.start()    plist.append(p)  # 此進(jìn)程監(jiān)聽redis消息，收到消息，即執(zhí)行reload方法  p = Process(target=reload_spider)  p.start()  plist.append(p)  for p in plist:    p.join()

# 監(jiān)聽redis，執(zhí)行reload方法def reload_spider():  """ 監(jiān)聽文件變化，自動reload """  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)  while True:    try:      key = 'reload-spider'      value = rconn.get(key)      print value      if value == '1':        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())        reload(crawler_module)        crawlerClass = getattr(crawler_module, 'temp'.upper())        print 'reload_spider 中的class： %s' % (crawlerClass.name)      # rconn.delete(key)    except Exception, e:      pass    time.sleep(3)

另一個進(jìn)程打印py文件里面一個變量

crawler = get_crawler_from_factory(mq_service, message)  print crawler.name

結(jié)果發(fā)現(xiàn)，一個進(jìn)程中進(jìn)行了reload，并不能改變另外一個進(jìn)程中的變量。那么在同一個進(jìn)程中呢...

同一進(jìn)程中，多線程，任一線程進(jìn)行了reload操作，其他線程均受影響

def pre_run():  t = threading.Thread(target=reload_spider, name='LoopThread')  t.start()  # t.join()   """ 在每個進(jìn)程里面再使用多線程 """  pool = ThreadPool(Num_Thread)  # 初始化mq通道  mq_service = RabbitMqService()   def callback(ch, method, properties, body):    # 消息確認(rèn)    mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)    # 獲取當(dāng)前線程的名字    current_process_name = multiprocessing.current_process().name    logger.debug('當(dāng)前進(jìn)程名稱：%s - pid: %s' % (current_process_name, os.getpid()))    logger.debug('進(jìn)程 %s，收到消息： %s' % (current_process_name, body))    # 收到任務(wù)消息，丟給線程池處理    pool.apply_async(run, (properties, body, mq_service))  # 開始監(jiān)聽入口通道  mq_service.receive(callback)