国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 語言 > PHP > 正文

利用php抓取蜘蛛爬蟲痕跡的示例代碼

2024-05-04 23:50:20
字體:
來源:轉載
供稿:網友

前言

相信許多的站長、博主可能最關心的無非就是自己網站的收錄情況,一般情況下我們可以通過查看空間服務器的日志文件來查看搜索引擎到底爬取了我們哪些個頁面,不過,如果用php代碼分析web日志中蜘蛛爬蟲痕跡,是比較好又比較直觀方便操作的!下面是示例代碼,有需要的朋友們下面來一起看看吧。

示例代碼

<?php//獲取蜘蛛爬蟲名或防采集function isSpider(){  $bots = array(          'Google'  => 'googlebot',          'Baidu'    => 'baiduspider',          'Yahoo'    => 'yahoo slurp',          'Soso'    => 'sosospider',          'Msn'    => 'msnbot',          'Altavista'  => 'scooter ',          'Sogou'    => 'sogou spider',          'Yodao'    => 'yodaobot'      );  $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);  foreach ($bots as $k => $v){    if (strstr($v,$userAgent)){      return $k;      break;    }  }  return false;} //獲取哪種蜘蛛爬蟲后保存蜘蛛痕跡。//根據采集時HTTP_USER_AGENT是否為空來防止采集//抓蜘蛛爬蟲$spi  = isSpider();if($spi){  $tlc_thispage  = addslashes($_SERVER['HTTP_USER_AGENT']);  $file      = 'robot.txt';  $time      = date('Y-m-d H:i:s',mktime());  $handle      = fopen($file,'a+');  $PR        = $_SERVER['REQUEST_URI'];  fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} /n/r");  fclose($handle);}?>

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作能帶來一定的幫助,如果有問題大家可以留言交流。


注:相關教程知識閱讀請移步到PHP教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

主站蜘蛛池模板: 原阳县| 和政县| 北票市| 中牟县| 六安市| 高密市| 临邑县| 定襄县| 琼海市| 澄江县| 西吉县| 云林县| 靖宇县| 资溪县| 布尔津县| 浪卡子县| 西林县| 抚远县| 清丰县| 岳普湖县| 永州市| 秀山| 镇安县| 平邑县| 西宁市| 射阳县| 诸城市| 舞钢市| 佛山市| 晋宁县| 淳安县| 吉林市| 壶关县| 江阴市| 永济市| 筠连县| 三河市| 山阳县| 新绛县| 张北县| 乌拉特后旗|