php curl抓取網頁的介紹和推廣及使用CURL抓取淘寶

2020-03-22 19:47:00

字體：大中小

來源：轉載

供稿：網友

php的curl可以用來實現抓取網頁，分析網頁數據用，簡潔易用，這里介紹其函數等就不詳細描述，放上代碼看看:只保留了其中幾個主要的函數。實現模擬登陸，其中可能涉及到session捕獲，然后前后頁面涉及參數提供形式。 libcurl主要功能就是用不同的協議連接和溝通不同的服務器~也就是相當封裝了的sock PHP 支持libcurl(允許你用不同的協議連接和溝通不同的服務器)。, libcurl當前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 協議。libcurl同樣支持HTTPS證書授權，HTTP POST, HTTP PUT, FTP 上傳(當然你也可以使用PHP的ftp擴展), HTTP基本表單上傳，代理，cookies,和用戶認證。為了使用CURL函數你需要安裝CURL包。PHP 需要你使用CURL 7.0.2-beta或更高版。如果CURL的版本低于7.0.2-beta，PHP將不工作。要使用PHP的CURL支持，你必須用帶有--with-curl[=DIR]參數重新編譯PHP(DIR是包含庫和頭文件的目錄)。這些函數是在PHP 4.0.2中新增得。一旦你編譯了帶有CURL支持的PHP，你可以使用curl函數。基本思路是：你使用curl_init()函數初始化 CURL會話，而后你可以設置你的所有選項，通過curl_exec()函數執行，最后你可以作用curl_close()函數來結束你的會話。以下是一個例子：是把PHP的主頁取回放到一個文件中。例 1. 使用PHP的CURL模塊取回PHP主頁$ch = curl_init ("http://www.php.net/"); $fp = fopen ("php_homepage.txt", "w"); curl_setopt ($ch, CURLOPT_FILE, $fp); curl_setopt ($ch, CURLOPT_HEADER, 0); curl_exec ($ch); curl_close ($ch); fclose ($fp); 目錄列表 curl_init — 初始化一個CURL會話 curl_setopt — 為CURL調用設置一個選項 curl_exec — 執行一個CURL會話 curl_close — 關閉一個CURL會話 curl_version — 返回當前CURL版本 * curl擴展的安裝 PHP已經內置有php_curl.dll,在ext目錄下,此DLL用于支持SSL和zlib. 在php.ini中找到有extension=php_curl.dll, 去掉前面的注釋. 設置extension_dir=你的php的ext目錄（例如c:/php/ext）把ext目錄下的libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll 都拷貝到system32目錄下，重啟apache即可。 curl_init curl_init -- 初始化一個CURL會話描述int curl_init ([string url]) curl_init()函數將初始化一個新的會話，返回一個CURL句柄供curl_setopt(), curl_exec(),和 curl_close() 函數使用。如果可選參數被提供，那么CURLOPT_URL選項將被設置成這個參數的值。你可以使用curl_setopt()函數人工設置。例 1. 初始化一個新的CURL會話，且取回一個網頁$ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, "http://www.zend.com/"); curl_setopt ($ch, CURLOPT_HEADER, 0); curl_exec ($ch); curl_close ($ch); 參見：curl_close(), curl_setopt() * curl_setopt
curl_setopt -- 為CURL調用設置一個選項描述 bool curl_setopt (int ch, string option, mixed html' target='_blank'>value) curl_setopt()函數將為一個CURL會話設置選項。option參數是你想要的設置，value是這個選項給定的值。下列選項的值將被作為長整形使用(在option參數中指定)： CURLOPT_INFILESIZE: 當你上傳一個文件到遠程站點，這個選項告訴PHP你上傳文件的大小。 CURLOPT_VERBOSE: 如果你想CURL報告每一件意外的事情，設置這個選項為一個非零值。 CURLOPT_HEADER: 如果你想把一個頭包含在輸出中，設置這個選項為一個非零值。 CURLOPT_NOPROGRESS: 如果你不會PHP為CURL傳輸顯示一個進程條，設置這個選項為一個非零值。注意：PHP自動設置這個選項為非零值，你應該僅僅為了調試的目的來改變這個選項。 CURLOPT_NOBODY: 如果你不想在輸出中包含body部分，設置這個選項為一個非零值。 CURLOPT_FAILONERROR: 如果你想讓PHP在發生錯誤(HTTP代碼返回大于等于300)時，不顯示，設置這個選項為一人非零值。默認行為是返回一個正常頁，忽略代碼。 CURLOPT_UPLOAD: 如果你想讓PHP為上傳做準備，設置這個選項為一個非零值。 CURLOPT_POST: 如果你想PHP去做一個正規的HTTP POST，設置這個選項為一個非零值。這個POST是普通的 application/x-www-from-urlencoded 類型，多數被HTML表單使用。 CURLOPT_FTPLISTONLY: 設置這個選項為非零值，PHP將列出FTP的目錄名列表。 CURLOPT_FTPAPPEND: 設置這個選項為一個非零值，PHP將應用遠程文件代替覆蓋它。 CURLOPT_NETRC: 設置這個選項為一個非零值，PHP將在你的 ~./netrc 文件中查找你要建立連接的遠程站點的用戶名及密碼。 CURLOPT_FOLLOWLOCATION: 設置這個選項為一個非零值(象 "Location: ")的頭，服務器會把它當做HTTP頭的一部分發送(注意這是遞歸的，PHP將發送形如 "Location: "的頭)。 CURLOPT_PUT: 設置這個選項為一個非零值去用HTTP上傳一個文件。要上傳這個文件必須設置CURLOPT_INFILE和CURLOPT_INFILESIZE選項. CURLOPT_MUTE: 設置這個選項為一個非零值，PHP對于CURL函數將完全沉默。 CURLOPT_TIMEOUT: 設置一個長整形數，作為最大延續多少秒。 CURLOPT_LOW_SPEED_LIMIT: 設置一個長整形數，控制傳送多少字節。 CURLOPT_LOW_SPEED_TIME: 設置一個長整形數，控制多少秒傳送CURLOPT_LOW_SPEED_LIMIT規定的字節數。 CURLOPT_RESUME_FROM: 傳遞一個包含字節偏移地址的長整形參數，(你想轉移到的開始表單)。 CURLOPT_SSLVERSION: 傳遞一個包含SSL版本的長參數。默認PHP將被它自己努力的確定，在更多的安全中你必須手工設置。 CURLOPT_TIMECONDITION: 傳遞一個長參數，指定怎么處理CURLOPT_TIMEVALUE參數。你可以設置這個參數為TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。這僅用于HTTP。 CURLOPT_TIMEVALUE: 傳遞一個從1970-1-1開始到現在的秒數。這個時間將被CURLOPT_TIMEVALUE選項作為指定值使用，或被默認TIMECOND_IFMODSINCE使用。下列選項的值將被作為字符串： CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項。 CURLOPT_USERPWD: 傳遞一個形如[username]:[password]風格的字符串,作用PHP去連接。 CURLOPT_PROXYUSERPWD: 傳遞一個形如[username]:[password] 格式的字符串去連接HTTP代理。 CURLOPT_RANGE: 傳遞一個你想指定的范圍。它應該是"X-Y"格式，X或Y是被除外的。HTTP傳送同樣支持幾個間隔，用逗句來分隔(X-Y,N-M)。 CURLOPT_POSTFIELDS: 傳遞一個作為HTTP “POST”操作的所有數據的字符串。 CURLOPT_REFERER: 在HTTP請求中包含一個"referer"頭的字符串。 CURLOPT_USERAGENT: 在HTTP請求中包含一個"user-agent"頭的字符串。 CURLOPT_FTPPORT: 傳遞一個包含被ftp "POST"指令使用的IP地址。這個POST指令告訴遠程服務器去連接我們指定的IP地址。這個字符串可以是一個IP地址，一個主機名，一個網絡界面名(在UNIX下)，或是'-'(使用系統默認IP地址)。 CURLOPT_COOKIE: 傳遞一個包含HTTP cookie的頭連接。 CURLOPT_SSLCERT: 傳遞一個包含PEM格式證書的字符串。 CURLOPT_SSLCERTPASSWD: 傳遞一個包含使用CURLOPT_SSLCERT證書必需的密碼。 CURLOPT_COOKIEFILE: 傳遞一個包含cookie數據的文件的名字的字符串。這個cookie文件可以是Netscape格式，或是堆存在文件中的HTTP風格的頭。 CURLOPT_CUSTOMREQUEST: 當進行HTTP請求時，傳遞一個字符被GET或HEAD使用。為進行DELETE或其它操作是有益的，更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request. 注意: 在確認你的服務器支持命令先不要去這樣做。下列的選項要求一個文件描述(通過使用fopen()函數獲得)： CURLOPT_FILE: 這個文件將是你放置傳送的輸出文件，默認是STDOUT. CURLOPT_INFILE: 這個文件是你傳送過來的輸入文件。 CURLOPT_WRITEHEADER: 這個文件寫有你輸出的頭部分。 CURLOPT_STDERR: 這個文件寫有錯誤而不是stderr。 * curl_exec curl_exec -- 執行一個CURL會話描述 bool curl_exec (int ch) 在你初始化一個CURL會話，及為這個會話設置了所有的選項后，這個函數將被調用。它的目的僅僅是執行預先確定的CURL會話(通過給定的ch參數)。 * curl_close curl_close -- 關閉一個CURL會話描述 void curl_close (int ch) 這個函數關閉一個CURL會話，并且釋放所有的資源。CURL句柄(ch參數)也被刪除。 * curl_version curl_version -- 返回當前CURL版本描述 string curl_version (void)curl_version()函數返回一個包含CURL版本的字符串。 php class MultiHttpRequest{ public $urls = array(); public $curlopt_header = 0; public $cookie_file = ''; public $collect_save_file = ''; public $start_timestamp = ''; public $end_timestamp = ''; private $log_handle = ''; private $collect_save_handle = ''; private $db_conn = false; private $pre_break_goods_id = ''; //上一次強制退出的id private $per_break_brand_id = ''; //上一次更新到的brand_id private $main_log_id = ''; //本次更新的主表日志id private $start_time = ''; public $login_session = ''; public $date_char = ''; private $mode = ''; private $sql_log_handle = ''; function __construct($upgrade_date='', $force_upt=false) $this- mysql_init(); private function mysql_init(){ $db_name = 'dbname'; $db_user = 'name'; $db_pass = 'pass'; $db_host = 'localhost'; $db_conn = mysql_connect($db_host, $db_user, $db_pass) ; if(!$db_conn){ echo '數據庫連接失敗!'; exit; $this- db_conn = $db_conn; mysql_select_db($db_name); public function init_login(){ //第一步模擬登陸 $target_url = 'http://www.test.com/login.jsp'; //post 提交的數據 $post_fields = array( 'username' = '卓雅秀淘寶', 'password' = 'joarshow.taobao.com', 't_url' = '', 'Submit2' = ' 登錄 ' //保存登陸的cookie $cookie_file = dirname(__FILE__).'/cookie_'.time().'.txt'; $this- cookie_file = $cookie_file; //存cookie $ch = curl_init($target_url); curl_setopt($ch, CURLOPT_HEADER, 1); // curl_setopt($ch, CURLOPT_COOKIESESSION, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields); curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); $login_contents = curl_exec($ch); curl_close($ch); /** * 測試 * @param unknown_type $test_url public function get_one_file($test_url){ $ch = curl_init($test_url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_COOKIE, $this- login_session); curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/welcome.shtml'); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); $contents = curl_exec($ch); curl_close($ch); return $contents; public function point_url_brand($url){ $ch = curl_init($url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_COOKIE, $this- login_session); curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/product.shtml'); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); $contents = curl_exec($ch); // echo htmlspecialchars($contents);exit; curl_close($ch); return $contents; } 使用CURL抓取淘寶頁面集成方法代碼如下： * 根據地址抓取淘寶頁面html代碼 * @param type $url 地址 * @return boolean public function getTaoBaoHtml($url) { if (empty($url)) { return false; $ch = curl_init(); // 設置 url curl_setopt($ch, CURLOPT_URL, $url); // 設置瀏覽器的特定header curl_setopt($ch, CURLOPT_HTTPHEADER, array( "User-Agent: {Mozilla/5.0 (Windows NT 6.1; WOW64; rv:26.0) Gecko/20100101 Firefox/26.0}", "Accept: {text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8}", "Accept-Language: {zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3}", "Cookie:{cq=ccp%3D1; cna=a7suCzOmSTECAXgg9iCf4AtX; t=671b2069c7e8ac444da66d664a397a5f; tracknick=%5Cu4F0D%5Cu6653%5Cu8F8901; _tb_token_=nDiU1vCuzFd0; cookie2=c54709ffbe04a5ccb80283c34d6b00fa; pnm_cku822=128WsMPac%2FFS4KgNn%2BYfhzduo4U2NC0zh9cAS4%3D%7CWUCLjKhqr873bOIFQcMecSw%3D%7CWMEKRlV%2B3D9a6XWaidNWNQOSWXwaXugvQHzhxALh%7CX0YLbX78NUR2b2DHoxnIqZENQqR35TBZbfQ5vooI0b6GHZA3U1kr%7CXkdILogCr878ZK9I%2B%2FE3QjAD3lFJJaAZRA%3D%3D%7CXUeMwMR2s%2BTUQk8IPP5TNgWfUjQwonccMCxihTa0fRYgtjgfa4j6%7CXMYK7F8liOvH3hMUpzXkiaU%2FJw%3D%3D}", // 頁面內容我們并不需要 curl_setopt($ch, CURLOPT_NOBODY, 0); // 只需返回HTTP header curl_setopt($ch, CURLOPT_HEADER, 0); // 返回結果，而不是輸出它 //curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); ob_start(); curl_exec($ch); $html = ob_get_contents(); ob_end_clean(); curl_close($ch); return $html; }PHP教程

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。

上一篇：php mailer類調用遠程SMTP服務器發送郵件實現方法

下一篇：php開啟openssl的方法