網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成，其基本架構(gòu)如下圖所示：

傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。對(duì)于垂直搜索來(lái)說(shuō)，聚焦爬蟲(chóng)，即有針對(duì)性地爬取特定主題網(wǎng)頁(yè)的爬蟲(chóng)，更為適合。

本文爬蟲(chóng)程序的核心代碼如下：

java代碼

1. public void crawl() throws Throwable {     
2.     while (continueCrawling()) {     
3.         CrawlerUrl url = getNextUrl(); //獲取待爬取隊(duì)列中的下一個(gè)URL     
4.         if (url != null) {     
5.             PRintCrawlInfo();      
6.             String content = getContent(url); //獲取URL的文本信息     
7.                  
8.             //聚焦爬蟲(chóng)只爬取與主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，這里采用正則匹配簡(jiǎn)單處理     
9.             if (isContentRelevant(content, this.regexpSearchPattern)) {     
10.                 saveContent(url, content); //保存網(wǎng)頁(yè)至本地     
11.     
12.                 //獲取網(wǎng)頁(yè)內(nèi)容中的鏈接，并放入待爬取隊(duì)列中     
13.                 Collection urlStrings = extractUrls(content, url);     
14.                 addUrlsToUrlQueue(url, urlStrings);     
15.             } else {     
16.                 System.out.println(url + " is not relevant ignoring ...");     
17.             }     
18.     
19.             //延時(shí)防止被對(duì)方屏蔽     
20.             Thread.sleep(this.delayBetweenUrls);     
21.         }     
22.     }     
23.     cloSEOutputStream();     
24. }    

整個(gè)函數(shù)由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等幾個(gè)核心方法組成，下面將一一介紹。先看getNextUrl：

Java代碼

1. private CrawlerUrl getNextUrl() throws Throwable {     
2.     CrawlerUrl nextUrl = null;     
3.     while ((nextUrl == null) && (!urlQueue.isEmpty())) {     
4.         CrawlerUrl crawlerUrl = this.urlQueue.remove();     
5.                     
6.         //doWeHavePermissionToVisit：是否有權(quán)限訪問(wèn)該URL，友好的爬蟲(chóng)會(huì)根據(jù)網(wǎng)站提供的"Robot.txt"中配置的規(guī)則進(jìn)行爬取     
7.         //isUrlAlreadyVisited：URL是否訪問(wèn)過(guò)，大型的搜索引擎往往采用BloomFilter進(jìn)行排重，這里簡(jiǎn)單使用HashMap     
8.         //isDepthAcceptable：是否達(dá)到指定的深度上限。爬蟲(chóng)一般采取廣度優(yōu)先的方式。一些網(wǎng)站會(huì)構(gòu)建爬蟲(chóng)陷阱（自動(dòng)生成一些無(wú)效鏈接使爬蟲(chóng)陷入死循環(huán)），采用深度限制加以避免     
9.         if (doWeHavePermissionToVisit(crawlerUrl)     
10.             && (!isUrlAlreadyVisited(crawlerUrl))      
11.             && isDepthAcceptable(crawlerUrl)) {     
12.             nextUrl = crawlerUrl;     
13.             // System.out.println("Next url to be visited is " + nextUrl);     
14.         }     
15.     }     
16.     return nextUrl;     
17. }   

更多的關(guān)于robot.txt的具體寫(xiě)法，可參考以下這篇文章：

http://www.bloghuman.com/post/67/

getContent內(nèi)部使用apache的httpclient 4.1獲取網(wǎng)頁(yè)內(nèi)容，具體代碼如下：

Java代碼

1. private String getContent(CrawlerUrl url) throws Throwable {     
2.     //HttpClient4.1的調(diào)用與之前的方式不同     
3.     HttpClient client = new DefaultHttpClient();     
4.     HttpGet httpGet = new HttpGet(url.getUrlString());     
5.     StringBuffer strBuf = new StringBuffer();     
6.     HttpResponse response = client.execute(httpGet);     
7.     if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {     
8.         HttpEntity entity = response.getEntity();     
9.         if (entity != null) {     
10.             BufferedReader reader = new BufferedReader(     
11.                 new InputStreamReader(entity.getContent(), "UTF-8"));     
12.             String line = null;     
13.             if (entity.getContentLength() > 0) {     
14.                 strBuf = new StringBuffer((int) entity.getContentLength());     
15.                 while ((line = reader.readLine()) != null) {     
16.                     strBuf.append(line);     
17.                 }     
18.             }     
19.         }     
20.         if (entity != null) {     
21.             entity.consumeContent();     
22.         }     
23.     }     
24.     //將url標(biāo)記為已訪問(wèn)     
25.     markUrlAsVisited(url);     
26.     return strBuf.toString();     
27. }    

對(duì)于垂直型應(yīng)用來(lái)說(shuō)，數(shù)據(jù)的準(zhǔn)確性往往更為重要。聚焦型爬蟲(chóng)的主要特點(diǎn)是，只收集和主題相關(guān)的數(shù)據(jù)，這就是isContentRelevant方法的作用。這里或許要使用分類(lèi)預(yù)測(cè)技術(shù)，為簡(jiǎn)單起見(jiàn)，采用正則匹配來(lái)代替。其主要代碼如下：

Java代碼

1. public static boolean isContentRelevant(String content,     
2. Pattern regexpPattern) {     
3.     boolean retValue = false;     
4.     if (content != null) {     
5.         //是否符合正則表達(dá)式的條件     
6.         Matcher m = regexpPattern.matcher(content.toLowerCase());     
7.         retValue = m.find();     
8.     }     
9.     return retValue;     
10. }    

extractUrls的主要作用，是從網(wǎng)頁(yè)中獲取更多的URL，包括內(nèi)部鏈接和外部鏈接，代碼如下：

Java代碼

1. public List extractUrls(String text, CrawlerUrl crawlerUrl) {     
2.     Map urlMap = new HashMap();     
3.     extractHttpUrls(urlMap, text);     
4.     extractRelativeUrls(urlMap, text, crawlerUrl);     
5.     return new ArrayList(urlMap.keySet());     
6. }     
7.     
8. //處理外部鏈接     
9. private void extractHttpUrls(Map urlMap, String text) {     
10.     Matcher m = httpRegexp.matcher(text);     
11.     while (m.find()) {     
12.         String url = m.group();     
13.         String[] terms = url.split("a href=/"");     
14.         for (String term : terms) {     
15.             // System.out.println("Term = " + term);     
16.             if (term.startsWith("http")) {     
17.                 int index = term.indexOf("/"");     
18.                 if (index > 0) {     
19.                     term = term.substring(0, index);     
20.                 }     
21.                 urlMap.put(term, term);     
22.                 System.out.println("Hyperlink: " + term);     
23.             }     
24.         }     
25.     }     
26. }     
27.     
28. //處理內(nèi)部鏈接     
29. private void extractRelativeUrls(Map urlMap, String text,     
30.         CrawlerUrl crawlerUrl) {     
31.     Matcher m = relativeRegexp.matcher(text);     
32.     URL textURL = crawlerUrl.getURL();     
33.     String host = textURL.getHost();     
34.     while (m.find()) {     
35.         String url = m.group();     
36.         String[] terms = url.split("a href=/"");     
37.         for (String term : terms) {     
38.             if (term.startsWith("/")) {     
39.                 int index = term.indexOf("/"");     
40.                 if (index > 0) {     
41.                     term = term.substring(0, index);     
42.                 }     
43.                 String s = "http://" + host + term;     
44.                 urlMap.put(s, s);     
45.                 System.out.println("Relative url: " + s);     
46.             }     
47.         }     
48.     }     
49.     
50. }    

如此，便構(gòu)建了一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)程序，可以使用以下程序來(lái)測(cè)試它：

Java代碼

1. public static void main(String[] args) {     
2.     try {     
3.         String url = "http://www.amazon.com";     
4.         Queue urlQueue = new LinkedList();     
5.         String regexp = "java";     
6.         urlQueue.add(new CrawlerUrl(url, 0));     
7.         NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,     
8.                 regexp);     
9.         // boolean allowCrawl = crawler.areWeAllowedToVisit(url);     
10.         // System.out.println("Allowed to crawl: " + url + " " +     
11.         // allowCrawl);     
12.         crawler.crawl();     
13.     } catch (Throwable t) {     
14.         System.out.println(t.toString());     
15.         t.printStackTrace();     
16.     }     
17. }    

當(dāng)然，你可以為它賦予更為高級(jí)的功能，比如多線程、更智能的聚焦、結(jié)合Lucene建立索引等等。更為復(fù)雜的情況，可以考慮使用一些開(kāi)源的蜘蛛程序，比如Nutch或是Heritrix等等，就不在本文的討論范圍了。