搜索引擎的工作就是在網(wǎng)絡(luò)上進(jìn)行數(shù)據(jù)采集，這也是搜索引擎最基礎(chǔ)的工作，其中搜索引擎的內(nèi)容是來自URL列表中，我們可以通過這些列表不斷的收錄，儲(chǔ)存以及維護(hù)，學(xué)習(xí)搜索引擎的收錄流程、原理、收錄方式是可以幫助我們提高搜索引擎對(duì)網(wǎng)站的收錄數(shù)量。

第一點(diǎn)：收錄流程

在網(wǎng)站中URL是頁面的入口地址，蜘蛛程序是通過這些來抓取頁面的。蜘蛛不斷的從頁面中獲取資源及存儲(chǔ)頁面，然后加入到URL列表中，然后再不斷的循環(huán)，搜索引擎就能在網(wǎng)絡(luò)中獲取很多頁面。

URL被稱為頁面的入口，而域名被稱為網(wǎng)站的入口，當(dāng)搜索引擎進(jìn)入網(wǎng)站抓取網(wǎng)站中的頁面時(shí)，首先就是要加入搜索引擎的域名列表中，我們常見的搜索引擎列有兩種方式，第一種是搜索引擎給我們提供登錄信息，然后向搜索引擎提交網(wǎng)站域名，用這種方法只能定期抓取且比較被動(dòng)，花費(fèi)的時(shí)間也比較長(zhǎng)。第二種是通過高質(zhì)量的鏈接讓搜索引擎在抓取別人網(wǎng)站的同時(shí)看到我們，從而實(shí)現(xiàn)對(duì)網(wǎng)站的收錄，使用這種方法的主動(dòng)權(quán)在我們這邊，且速度會(huì)比較快一些，如果鏈接的數(shù)量質(zhì)量比較好，一般在一周內(nèi)會(huì)被搜索引擎收錄。

第二點(diǎn)：收錄原理

如果我們把網(wǎng)站的頁面看成是一個(gè)有向圖，我們從指定的頁面出發(fā)，按照某種特定的策略對(duì)網(wǎng)站中的頁面進(jìn)行編輯，然后不斷的從URL列表中拿出訪問的URL，在存儲(chǔ)頁面同時(shí)提取信息，URL可以分為兩類一是域名，二是內(nèi)部URL，如果是判斷URL是否被訪問過，把URL加入U(xiǎn)RL列表中就知道了，經(jīng)過這些工作，搜索引擎可以建立列表、頁面URL以及儲(chǔ)存頁面。

第三點(diǎn)：收錄方式

頁面收錄方式是指搜索引擎抓取頁面時(shí)所使用的策略，其目的就是為了能在網(wǎng)絡(luò)中選出較重要的信息，頁面收錄方式的制定取決于搜索引擎對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的理解，如果是使用相同的抓取策略，搜索引擎在同樣的時(shí)間會(huì)抓取更多的資源，在網(wǎng)站停留的時(shí)間更長(zhǎng)，被收錄的頁面也就會(huì)越多。