以下討論的是和多線程 采集 遠程 相關的如何通過PHP多線程批量采集下載遠程網站圖片代碼實例教程文章，內容是本站精心挑選整理的教程，希望對廣大的網友給到幫助,下面是詳細內容：

使用curl的多線程，另外curl可以設置請求時間，遇到很慢的url資源，可以果斷的放棄，這樣沒有阻塞，另外有多線程請求，效率應該比較高

下面是代碼實現:

1. /**  
2.      * curl 多線程  
3.      * @author http://www.lai18.com 
4.      * @param array $array 并行網址  
5.      * @param int $timeout 超時時間 
6.      * @return mix  
7.      */ 
8.  public function Curl_http($array,$timeout='15'){ 
9.       $res = array(); 
10.  
11.       $mh = curl_multi_init();//創建多個curl語柄 
12.  
13.       foreach($array as $k=>$url){ 
14.           $conn[$k]=curl_init($url);//初始化 
15.  
16.           curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//設置超時時間 
17.           curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)'); 
18.           curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向級別 ，7最高 
19.           curl_setopt($conn[$k], CURLOPT_HEADER, false);//這里不要header，加塊效率 
20.           curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect 
21.           curl_setopt($conn[$k], CURLOPT_RETURNTRANSFER,1);//要求結果為字符串且輸出到屏幕上           
22.     curl_setopt($conn[$k], CURLOPT_HTTPGET, true); 
23.  
24.           curl_multi_add_handle ($mh,$conn[$k]); 
25.       } 
26.        //防止死循環耗死cpu 這段是根據網上的寫法 
27.           do { 
28.               $mrc = curl_multi_exec($mh,$active);//當無數據，active=true 
29.           } while ($mrc == CURLM_CALL_MULTI_PERFORM);//當正在接受數據時 
30.           while ($active and $mrc == CURLM_OK) {//當無數據時或請求暫停時，active=true 
31.               if (curl_multi_select($mh) != -1) { 
32.                   do { 
33.                       $mrc = curl_multi_exec($mh, $active); 
34.                   } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
35.               } 
36.           } 
37.  
38.       foreach ($array as $k => $url) { 
39.             if(!curl_errno($conn[$k])){ 
40.              $data[$k]=curl_multi_getcontent($conn[$k]);//數據轉換為array 
41.              $header[$k]=curl_getinfo($conn[$k]);//返回http頭信息 
42.              curl_close($conn[$k]);//關閉語柄 
43.              curl_multi_remove_handle($mh  , $conn[$k]);   //釋放資源  
44.             }else{ 
45.              unset($k,$url); 
46.             } 
47.           } 
48.  
49.           curl_multi_close($mh); 
50.  
51.           return $data; 
52.  
53.    } 
54.  
55. //參數接收 
56. $callback = $_GET['callback']; 
57. $hrefs = $_GET['hrefs']; 
58. $urlarray = explode(',',trim($hrefs,',')); 
59. $date = date('Ymd',time()); 
60. //實例化 
61. $img = new HttpImg(); 
62. $stime = $img->getMicrotime();//開始時間 
63.  
64. $data = $img->Curl_http($urlarray,'20');//列表數據 
65. mkdir('./img/'.$date,0777); 
66. foreach ((array)$data as $k=>$v){ 
67.  preg_match_all("/(hrefsrc)=(["']?)([^ "'>]+.(jpgpngPNGJPGgif))/2/i", $v, $matches[$k]); 
68.  
69.  if(count($matches[$k][3])>0){ 
70.   $dataimg = $img->Curl_http($matches[$k][3],'20');//全部圖片數據二進制 
71.   $j = 0; 
72.   foreach ((array)$dataimg as $kk=>$vv){ 
73.    if($vv !=''){ 
74.     $rand = rand(1000,9999); 
75.     $basename = time()."_".$rand.".".jpg;//保存為jpg格式的文件 
76.     $fname = './img/'.$date."/"."$basename"; 
77.     file_put_contents($fname, $vv);    
78.     $j++; 
79.     echo "創建第".$j."張圖片"."$fname"."
    "; 
80.    }else{ 
81.     unset($kk,$vv); 
82.    } 
83.   } 
84.  }else{ 
85.   unset($matches); 
86.  } 
87. } 
88. $etime = $img->getMicrotime();//結束時間 
89. echo "用時".($etime-$stime)."秒"; 
90. exit;