文章相關軟件：

一、 前言

隨著Internet上Web服務的發展，幾乎各個政府部門、公司、大專院校、科研院所等都在構建或正在建設自己的網站。而與此同時，在構建網站建設中各個單位都會遇到各種各樣的問題，那么對web服務器的運行和訪問情況進行詳細和周全的分析對于了解網站運行情況，發現網站存在的不足，促進網站的更好發展重要性是不言而喻的。

管理Web網站不只是監視Web的速度和Web的內容傳送，它要求不僅僅關注服務器每天的吞吐量，還要了解對這些Web網站的外來訪問，了解網站各頁面的訪問情況，根據各頁面的點擊頻率來改善網頁的內容和質量、提高內容的可讀性，跟蹤包含有商業交易的步驟以及管理Web網站“幕后”的數據等。
為了更好地提供WWW服務，監控WEB服務器的運行情況、了解網站內容的詳細訪問狀況就越來越顯得重要和迫切了。而這些要求都可以通過對web服務器的日志文件的統計和分析來做到。

二、WEB日志分析的原理

網站服務器日志記錄了web服務器接收處理請求以及運行時錯誤等各種原始信息。通過對日志進行統計、分析、綜合，就能有效地掌握服務器的運行狀況，發現和排除錯誤原因、了解客戶訪問分布等，更好的加強系統的維護和管理。

在WWW服務模型是非常簡單的（見圖1）:

1) 客戶端(瀏覽器)和web服務器建立tcp連接，連接建立以后，向web 服務器發出訪問請求（如：get），根據HTTP協議該請求中包含了客戶端的IP地址、瀏覽器的類型、請求的URL等一系列信息。

圖1 web訪問機制

2) web服務器收到請求后，將客戶端要求的頁面內容返回到客戶端。如果出現錯誤，那么返回錯誤代碼。

3) 服務器端將訪問信息和錯誤信息紀錄到日志文件里。下面是客戶端發送給web服務器請求的數據報的內容：

GET /engineer/ideal/list.htm HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */*
Referer: http://www.linuxaid.com.cn/engineer/ideal/
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
Host: www.linuxaid.com.cn
Connection: Keep-Alive

可以看到，在客戶機的請求里包含了很多有用的信息，例如：客戶端類型等等。而web服務器就會將請求的web頁內容發送返回給客戶機。

目前最常用的web服務器有Apache、Netscape enterprise server、MS IIS等。而目前互聯網上最常用的web服務器就是apache，因此我們這里的討論都以Linux＋apache環境討論，其他的應用環境類似。對于Apache來說，支持多種日志文件格式，最常見的是common和combined兩種模式，其中combined方式比common方式的日志的信息要多Referer（該請求來自于哪里，例如來自于yahoo的搜索引擎）和User-agent（用戶客戶端類型，如mozilla或IE）。我們這里討論combined類型。下面是common類型的日志示例：