国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > ASP > 正文

雨哲淺談關(guān)于防采集而不影響收錄內(nèi)容篇

2024-05-04 10:57:28
字體:
供稿:網(wǎng)友
讓站長最頭痛的事,除了程序和服務(wù)器安全外,可能就要算內(nèi)容被采集了。當(dāng)然,現(xiàn)在網(wǎng)絡(luò)本身就是資源共享,我這里不談采集的對錯,只是就防采集說說個人看法。  


一、如何分辨搜索爬蟲 
        以前,在網(wǎng)上看到過關(guān)于用asp代碼來捕捉搜索爬蟲的代碼,通過代碼把爬蟲的訪問記錄記錄到文件。就此代碼(原作者未知)我作了修改,加入程序中防采集。現(xiàn)做成函數(shù),直接在頁面中調(diào)用。
復(fù)制代碼 代碼如下:

 Function CheckSearchRobots(SearchRobotsAgent) 
 CheckSearchRobots = False 
 '自定義搜索爬蟲,因篇幅關(guān)系,這里只是加入國內(nèi)主要搜索引擎爬蟲部分記錄 
        Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo" 
        dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots 
        SearchRobotsTrue = False 
        ArrSearchRobots = split(SearchRobots,chr(124)) 
        For iSearchRobots = 0 To Ubound(ArrSearchRobots) 
                ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@") 
                If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then 
                        SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for 
                End If 
        Next 
        If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬蟲,就更新爬蟲信息 
   CheckSearchRobots = True 
        End If 
End Function 

將以上代碼放在asp程序中(具體如何放置請參考相關(guān)文章),然后在需要調(diào)用的地方作如下調(diào)用: If CheckSearchRobots(SearchRobotsAgent) = False Then
        Response.Write "非搜索引擎,可作部分限制!"      '這里可以加入判斷指定時間的刷新次數(shù),比如在正常情況下,訪問速度是N次/分,如果超過這個次數(shù)(超常規(guī)訪問)就可以限制了。 
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 永嘉县| 东阳市| 明溪县| 龙门县| 闽清县| 仙居县| 盐城市| 白银市| 黄龙县| 永和县| 监利县| 辛集市| 集贤县| 周宁县| 汕尾市| 金山区| 长春市| 连山| 陇川县| 蓝田县| 湖北省| 康平县| 佛坪县| 循化| 囊谦县| 胶南市| 理塘县| 宜兰市| 云梦县| 奉节县| 姚安县| 雅安市| 大连市| 芮城县| 辽阳县| 钦州市| 竹北市| 霍林郭勒市| 仙游县| 马龙县| 石阡县|