來自谷歌博客消息:原來谷歌抓取移動設備的蜘蛛統稱為Googlebot移動版,谷歌分析稱受此項更新影響的網址不到0.001%,而此項更新可讓站長更好地控制對其內容的抓取和編入索引操作。
由于功能手機和智能手機的功能存在很大差異,站長一旦屏蔽了Googlebot那么移動版的則全部屏蔽。而這次谷歌稱:谷歌將針對智能手機的新型Googlebot用戶代理。
這個蜘蛛大概是未來3、4周后開始工作,且不再將針對智能手機的“Googlebot-Mobile”用作用戶代理。之后,針對智能手機的用戶代理將直接使用“Googlebot”進行標識。這樣即使屏蔽了功能手機的收錄,但針對智能手機的優化不會有影響。
針對智能手機的新型Googlebot用戶代理:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
針對智能手機的Googlebot-Mobile用戶代理(即將停止使用):
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
請注意此項用戶代理更新帶來的以下重大影響:針對智能手機的新型Googlebot抓取工具將遵從Googlebot(而非Googlebot-Mobile)的robots.txt指令、robots元標記指令和HTTP header指令。例如,使用新型抓取工具后,以下robots.txt指令將屏蔽針對智能手機的新型Googlebot用戶代理以及常規Googlebot執行的所有抓取操作:
User-agent: Googlebot
Disallow: /
以下robots.txt指令將屏蔽Google的功能手機抓取工具執行的抓取操作:
User-agent: Googlebot-Mobile
Disallow: /
來源:seo優化網 轉載注明出處!
新聞熱點
疑難解答