影響百度爬蟲對網(wǎng)站抓取量的因素有哪些？

2020-09-28 22:53:38

字體：大中小

供稿：網(wǎng)友

影響百度爬蟲對網(wǎng)站抓取量的因素有哪些?百度爬蟲抓取量其實簡單來講就是百度爬蟲對站點一天抓取網(wǎng)頁的數(shù)量，從百度內(nèi)部透露來說，一般會抓兩種網(wǎng)頁，這里新網(wǎng)小編為大家介紹一下影響百度爬蟲對網(wǎng)站抓取量的因素有哪些。

其中一個是這個站點產(chǎn)生新的網(wǎng)頁，一般中小型站當天就可以完成，大型網(wǎng)站可能完成不了，另一種是百度以前抓過的網(wǎng)頁，它是需要更新的，比如一個站點已經(jīng)被百度收錄了5w，那么百度會給出一個時間段，比如30天，然后平均一下，每天到這個站點上面抓5W/30的這樣一個數(shù)字，但是具體的量，百度有自己的一套算法公式來計算。

影響百度抓取量的因素。

1.站點安全

對于中小型站點，在安全技術上比較薄弱，被黑被篡改的現(xiàn)象非常常見，一般被黑有常見幾種情況，一種是主域被黑，一種是標題被篡改，還有一種是在頁面里面加了很多的外鏈。一般主域被黑就是被劫持，就是主域被進行301的跳轉(zhuǎn)到指定的網(wǎng)站，而如果在百度那邊發(fā)現(xiàn)跳轉(zhuǎn)后的是一些垃圾站，那么你這個站點抓取量會里面降低。

2.內(nèi)容質(zhì)量

如果抓取了10萬條，而只有100條建庫了，那么抓取量還會降下來，因為百度會認為抓取的網(wǎng)頁比例很低，那么就沒必要去抓取更多，所以要"寧缺毋濫"，特別要注意在建站的時候一定要注意質(zhì)量，不要采集一些內(nèi)容，這是一種潛在的隱患。

3.站點響應速度

①網(wǎng)頁的大小會影響抓取，百度建議網(wǎng)頁的大小在1M以內(nèi)，當然類似大的門戶網(wǎng)站，如新浪另說。

②代碼質(zhì)量、機器的性能及帶寬，這個不多說，后續(xù)筆者會單獨拿出一篇文章講解，請實時關注“營銷小能手”。

4.同ip上面主域的數(shù)量

百度抓取都是按照ip進行去抓取的，比如在一個ip上一天抓取了1000w個頁面，而在這個站點上有40W的站點，那么平均下來抓取每個站點的數(shù)量會分的很少。

影響百度爬蟲對網(wǎng)站抓取量的因素有哪些，相信大家都知道了，在這里提醒大家在選擇服務商的時候，要看一看同ip上面有沒有大站，如果有大站的話，可能會被分得的抓取量會很少，因為流量都跑大站上面去了。

上一篇：怎樣利用優(yōu)化JS代碼來進行網(wǎng)站優(yōu)化？

下一篇：網(wǎng)站SEO優(yōu)化為什么遲遲沒有效果？