国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > Apache > 正文

apache禁止搜索引擎收錄、網絡爬蟲采集的配置方法

2024-08-27 18:23:41
字體:
來源:轉載
供稿:網友
這篇文章主要介紹了apache禁止搜索引擎收錄、網絡爬蟲采集的配置方法,注意一定要寫到Location節點,否則不起作用,可以精確匹配,也可以IP匹配,需要的朋友可以參考下

Apache中禁止網絡爬蟲,之前設置了很多次的,但總是不起作用,原來是是寫錯了,不能寫到Dirctory中,要寫到Location中

復制代碼 代碼如下:
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>

這是禁止了所有包含spider字符的爬蟲。
如果要針對性的禁止爬蟲,改成精確匹配的爬蟲字符串,如果bingbot、Googlebot等等

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 章丘市| 钦州市| 龙州县| 昌都县| 湄潭县| 铜川市| 格尔木市| 龙川县| 南乐县| 伽师县| 得荣县| 车险| 义乌市| 潢川县| 四川省| 淳化县| 清镇市| 乐平市| 赤城县| 札达县| 永登县| 双流县| 彩票| 成都市| 台北市| 竹溪县| 镇宁| 获嘉县| 永川市| 尉氏县| 石渠县| 安乡县| 遂溪县| 广安市| 濮阳市| 澜沧| 莲花县| 扶沟县| 两当县| 鄱阳县| 阿拉尔市|