如何用C#語言構造蜘蛛程序
2024-07-21 02:25:31
供稿：網友
"蜘蛛"（spider）是internet上一種很有用的程序，搜索引擎利用蜘蛛程序將web頁面收集到數據庫，企業利用蜘蛛程序監視競爭對手的網站并跟蹤變動，個人用戶用蜘蛛程序下載web頁面以便脫機使用，開發者利用蜘蛛程序掃描自己的web檢查無效的鏈接……對于不同的用戶，蜘蛛程序有不同的用途。那么，蜘蛛程序到底是怎樣工作的呢？
蜘蛛是一種半自動的程序，就象現實當中的蜘蛛在它的web（蜘蛛網）上旅行一樣，蜘蛛程序也按照類似的方式在web鏈接織成的網上旅行。蜘蛛程序之所以是半自動的，是因為它總是需要一個初始鏈接（出發點），但此后的運行情況就要由它自己決定了，蜘蛛程序會掃描起始頁面包含的鏈接，然后訪問這些鏈接指向的頁面，再分析和追蹤那些頁面包含的鏈接。從理論上看，最終蜘蛛程序會訪問到internet上的每一個頁面，因為internet上幾乎每一個頁面總是被其他或多或少的頁面引用。
本文介紹如何用c#語言構造一個蜘蛛程序，它能夠把整個網站的內容下載到某個指定的目錄，程序的運行界面如圖一。你可以方便地利用本文提供的幾個核心類構造出自己的蜘蛛程序。
圖1
c#特別適合于構造蜘蛛程序，這是因為它已經內置了http訪問和多線程的能力，而這兩種能力對于蜘蛛程序來說都是非常關鍵的。下面是構造一個蜘蛛程序要解決的關鍵問題：
⑴ html分析：需要某種html解析器來分析蜘蛛程序遇到的每一個頁面。
⑵ 頁面處理：需要處理每一個下載得到的頁面。下載得到的內容可能要保存到磁盤，或者進一步分析處理。
⑶ 多線程：只有擁有多線程能力，蜘蛛程序才能真正做到高效。
⑷ 確定何時完成：不要小看這個問題，確定任務是否已經完成并不簡單，尤其是在多線程環境下。
一、html解析
c#語言本身不包含解析html的能力，但支持xml解析；不過，xml有著嚴格的語法，為xml設計的解析器對html來說根本沒用，因為html的語法要寬松得多。為此，我們需要自己設計一個html解析器。本文提供的解析器是高度獨立的，你可以方便地將它用于其它用c#處理html的場合。
本文提供的html解析器由parsehtml類實現，使用非常方便：首先創建該類的一個實例，然后將它的source屬性設置為要解析的html文檔：
parsehtml parse = new parsehtml();
parse.source = "<p>hello world</p>";
接下來就可以利用循環來檢查html文檔包含的所有文本和標記。通常，檢查過程可以從一個測試eof方法的while循環開始：
while(!parse.eof())
{
char ch = parse.parse();
parse方法將返回html文檔包含的字符--它返回的內容只包含那些非html標記的字符，如果遇到了html標記，parse方法將返回0值，表示現在遇到了一個html標記。遇到一個標記之后，我們可以用gettag()方法來處理它。
if(ch==0)
{
htmltag tag = parse.gettag();
}
一般地，蜘蛛程序最重要的任務之一就是找出各個href屬性，這可以借助c#的索引功能完成。例如，下面的代碼將提取出href屬性的值（如果存在的話）。
attribute href = tag["href"];
string link = href.value;
獲得attribute對象之后，通過attribute.value可以得到該屬性的值。
二、處理html頁面
下面來看看如何處理html頁面。首先要做的當然是下載html頁面，這可以通過c#提供的httpwebrequest類實現：
httpwebrequest request = (httpwebrequest)webrequest.create(m_uri);
response = request.getresponse();
stream = response.getresponsestream();
接下來我們就從request創建一個stream流。在執行其他處理之前，我們要先確定該文件是二進制文件還是文本文件，不同的文件類型處理方式也不同。下面的代碼確定該文件是否為二進制文件。
if( !response.contenttype.tolower().startswith("text/") )
{
savebinaryfile(response);
return null;
}
string buffer = "",line;
如果該文件不是文本文件，我們將它作為二進制文件讀入。如果是文本文件，首先從stream創建一個streamreader，然后將文本文件的內容一行一行加入緩沖區。
reader = new streamreader(stream);
while( (line = reader.readline())!=null )
{
buffer+=line+"/r/n";
}
裝入整個文件之后，接著就要把它保存為文本文件。
savetextfile(buffer);
下面來看看這兩類不同文件的存儲方式。
二進制文件的內容類型聲明不以"text/"開頭，蜘蛛程序直接把二進制文件保存到磁盤，不必進行額外的處理，這是因為二進制文件不包含html，因此也不會再有需要蜘蛛程序處理的html鏈接。下面是寫入二進制文件的步驟。
首先準備一個緩沖區臨時地保存二進制文件的內容。
byte []buffer = new byte[1024];
接下來要確定文件保存到本地的路徑和名稱。如果要把一個myhost.com網站的內容下載到本地的c:/test文件夾，二進制文件的網上路徑和名稱是http://myhost.com/images/logo.gif，則本地路徑和名稱應當是c:/test/images/logo.gif。與此同時，我們還要確保c:/test目錄下已經創建了images子目錄。這部分任務由convertfilename方法完成。
string filename = convertfilename( response.responseuri );
convertfilename方法分離http地址，創建相應的目錄結構。確定了輸出文件的名字和路徑之后就可以打開讀取web頁面的輸入流、寫入本地文件的輸出流。
stream outstream = file.create( filename );
stream instream = response.getresponsestream();
接下來就可以讀取web文件的內容并寫入到本地文件，這可以通過一個循環方便地完成。
int l;
do
{
l = instream.read(buffer,0,
buffer.length);
if(l>0)
outstream.write(buffer,0,l);
} while(l>0);
寫入整個文件之后，關閉輸入流、輸出流。
outstream.close();
instream.close();
比較而言，下載文本文件更容易一些。文本文件的內容類型總是以"text/"開頭。假設文件已被下載并保存到了一個字符串，這個字符串可以用來分析網頁包含的鏈接，當然也可以保存為磁盤上的文件。下面代碼的任務就是保存文本文件。
string filename = convertfilename( m_uri );
streamwriter outstream = new streamwriter( filename );
outstream.write(buffer);
outstream.close();
在這里，我們首先打開一個文件輸出流，然后將緩沖區的內容寫入流，最后關閉文件。
三、多線程
多線程使得計算機看起來就象能夠同時執行一個以上的操作，不過，除非計算機包含多個處理器，否則，所謂的同時執行多個操作僅僅是一種模擬出來的效果--靠計算機在多個線程之間快速切換達到"同時"執行多個操作的效果。一般而言，只有在兩種情況下多線程才能事實上提高程序運行的速度。第一種情況是計算機擁有多個處理器，第二種情況是程序經常要等待某個外部事件。
對于蜘蛛程序來說，第二種情況正是它的典型特征之一，它每發出一個url請求，總是要等待文件下載完畢，然后再請求下一個url。如果蜘蛛程序能夠同時請求多個url，顯然能夠有效地減少總下載時間。
為此，我們用documentworker類封裝所有下載一個url的操作。每當一個documentworker的實例被創建，它就進入循環，等待下一個要處理的url。下面是documentworker的主循環：
while(!m_spider.quit )
{
m_uri = m_spider.obtainwork();
m_spider.spiderdone.workerbegin();
string page = getpage();
if(page!=null)
processpage(page);
m_spider.spiderdone.workerend();
}
這個循環將一直運行，直至quit標記被設置成了true（當用戶點擊"cancel"按鈕時，quit標記就被設置成true）。在循環之內，我們調用obtainwork獲取一個url。obtainwork將一直等待，直到有一個url可用--這要由其他線程解析文檔并尋找鏈接才能獲得。done類利用workerbegin和workerend方法來確定何時整個下載操作已經完成。
從圖一可以看出，蜘蛛程序允許用戶自己確定要使用的線程數量。在實踐中，線程的最佳數量受許多因素影響。如果你的機器性能較高，或者有兩個處理器，可以設置較多的線程數量；反之，如果網絡帶寬、機器性能有限，設置太多的線程數量其實不一定能夠提高性能。
四、任務完成了嗎？
利用多個線程同時下載文件有效地提高了性能，但也帶來了線程管理方面的問題。其中最復雜的一個問題是：蜘蛛程序何時才算完成了工作？在這里我們要借助一個專用的類done來判斷。
首先有必要說明一下"完成工作"的具體含義。只有當系統中不存在等待下載的url，而且所有工作線程都已經結束其處理工作時，蜘蛛程序的工作才算完成。也就是說，完成工作意味著已經沒有等待下載和正在下載的url。
done類提供了一個waitdone方法，它的功能是一直等待，直到done對象檢測到蜘蛛程序已完成工作。下面是waitdone方法的代碼。
public void waitdone()
{
monitor.enter(this);
while ( m_activethreads>0 )
{
monitor.wait(this);
}
monitor.exit(this);
}
waitdone方法將一直等待，直到不再有活動的線程。但必須注意的是，下載開始的最初階段也沒有任何活動的線程，所以很容易造成蜘蛛程序一開始就立即停止的現象。為解決這個問題，我們還需要另一個方法waitbegin來等待蜘蛛程序進入"正式的"工作階段。一般的調用次序是：先調用waitbegin，再接著調用waitdone，waitdone將等待蜘蛛程序完成工作。下面是waitbegin的代碼：
public void waitbegin()
{
monitor.enter(this);
while ( !m_started )
{
monitor.wait(this);
}
monitor.exit(this);
}
waitbegin方法將一直等待，直到m_started標記被設置。m_started標記是由workerbegin方法設置的。工作線程在開始處理各個url之時，會調用workerbegin；處理結束時調用workerend。workerbegin和workerend這兩個方法幫助done對象確定當前的工作狀態。下面是workerbegin方法的代碼：
public void workerbegin()
{
monitor.enter(this);
m_activethreads++;
m_started = true;
monitor.pulse(this);
monitor.exit(this);
}
workerbegin方法首先增加當前活動線程的數量，接著設置m_started標記，最后調用pulse方法以通知（可能存在的）等待工作線程啟動的線程。如前所述，可能等待done對象的方法是waitbegin方法。每處理完一個url，workerend方法會被調用：
public void workerend()
{
monitor.enter(this);
m_activethreads--;
monitor.pulse(this);
monitor.exit(this);
}
workerend方法減小m_activethreads活動線程計數器，調用pulse釋放可能在等待done對象的線程--如前所述，可能在等待done對象的方法是waitdone方法。
結束語：本文介紹了開發internet蜘蛛程序的基礎知識，下面提供的源代碼將幫助你進一步深入理解本文的主題。這里提供的代碼非常靈活，你可以方便地將它用于自己的程序。
