国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > PHP > 正文

探討file_get_contents與curl效率及穩(wěn)定性的分析

2024-05-04 23:09:21
字體:
供稿:網(wǎng)友

做過好多抓取別家網(wǎng)站內(nèi)容的產(chǎn)品,習慣了使用方便快捷的file_get_contents函數(shù),但是總是會遇到獲取失敗的問題,盡管按照手冊中的例子設置了超時,可多數(shù)時候不會奏效:

復制代碼 代碼如下:


$config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”,
'timeout' => 5//這個超時時間不穩(wěn)定,經(jīng)常不奏效
)
));


這時候,看一下服務器的連接池,會發(fā)現(xiàn)一堆類似的錯誤,讓你頭疼萬分:
file_get_contents(***): failed to open stream…
不得已,安裝了curl庫,寫了一個函數(shù)替換:

復制代碼 代碼如下:


<span>function</span> curl_file_get_contents<span>(</span><span>$durl</span><span>)</span><span>{</span>
<span>$ch</span> <span>=</span> <span>curl_init</span><span>(</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_URL<span>,</span> <span>$durl</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_TIMEOUT<span>,</span> <span>5</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_USERAGENT<span>,</span> _USERAGENT_<span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_REFERER<span>,</span>_REFERER_<span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_RETURNTRANSFER<span>,</span> <span>1</span><span>)</span><span>;</span>
<span>$r</span> <span>=</span> <span>curl_exec</span><span>(</span><span>$ch</span><span>)</span><span>;</span>
<span>curl_close</span><span>(</span><span>$ch</span><span>)</span><span>;</span>
<span>return</span> <span>$r</span><span>;</span>
<span>}</span>


如此,除了真正的網(wǎng)絡問題外,沒再出現(xiàn)任何問題。
這是別人做過的關于curl和file_get_contents的測試:
file_get_contents抓取google.com需用秒數(shù):
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092
curl使用的時間:
0.68719101
0.64675593
0.64326
0.81983113
0.63956594
差距很大吧?呵呵,從我使用的經(jīng)驗來說,這兩個工具不只是速度有差異,穩(wěn)定性也相差很大。建議對網(wǎng)絡數(shù)據(jù)抓取穩(wěn)定性要求比較高的朋友使用上面的curl_file_get_contents函數(shù),不但穩(wěn)定速度快,還能假冒瀏覽器欺騙目標地址哦!

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 确山县| 荣昌县| 新营市| 泰宁县| 揭西县| 宜都市| 神木县| 西和县| 秀山| 九台市| 东明县| 红原县| 景洪市| 海兴县| 石嘴山市| 桓仁| 巧家县| 日喀则市| 阿尔山市| 赞皇县| 彭阳县| 铜山县| 凤山县| 万荣县| 金山区| 东阳市| 齐河县| 内江市| 黄平县| 阿坝| 琼中| 那坡县| 霍邱县| 隆德县| 吉安市| 万全县| 昌黎县| 丰城市| 东阿县| 仪征市| 交城县|