国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > Apache > 正文

Apache下通過shell腳本提交網站404死鏈的方法

2024-08-27 18:24:07
字體:
來源:轉載
供稿:網友
這篇文章主要介紹了Apache下通過shell腳本提交網站404死鏈,需要的朋友可以參考下

網站運營人員對于死鏈這個概念一定不陌生,網站的一些數據刪除或頁面改版等都容易制造死鏈,影響用戶體驗不說,過多的死鏈還會影響到網站的整體權重或排名。

百度站長平臺提供的死鏈提交工具,可將網站存在的死鏈(協議死鏈、404頁面)進行提交,可快速刪除死鏈,幫助網站SEO優化。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩,工作中我們提倡復雜自動化,所以本文我們一起交流分享Apache服務中通過shell腳本整理網站死鏈,便于我們提交。

1.配置Apache記錄搜索引擎

Apache是目前網站建設最為主流的web服務,但是apache的日志文件默認是不記錄百度、谷歌等各大搜索引擎的爬取程序的,所以首先需要我們設置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到下面兩行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

默認采用的是common,這里我們只需要將common這一行前面加#注釋掉,然后將combined這一行前的#去掉即可。然后保存重啟Apache服務。

注:如果你的服務器上添加了多個站點,每個站點有單獨的配置文件,則我們只需要在相應站點的配置文件中設置CustomLog項即可,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

下面是配置前后的網站日志記錄格式:

配置前:

配置后:

2.編寫shell腳本

我們通過shell腳本獲取網站日志中指定爬蟲的抓取記錄,然后匯總到一個文件中,便于后期使用。代碼如下,比如保存為deathlink.sh

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 清河县| 双辽市| 正阳县| 靖江市| 板桥市| 眉山市| 绥德县| 普兰店市| 安乡县| 佛山市| 开平市| 阿图什市| 东乌| 徐闻县| 铜陵市| 平遥县| 谢通门县| 云阳县| 邹平县| 论坛| 东方市| 新郑市| 海南省| 同仁县| 呼伦贝尔市| 图们市| 汶川县| 阿勒泰市| 准格尔旗| 龙南县| 奇台县| 图木舒克市| 辽宁省| 凤凰县| 徐水县| 西林县| 磴口县| 诸暨市| 新邵县| 醴陵市| 鹿邑县|