国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

零基礎寫python爬蟲之爬蟲的定義及URL構成

2020-02-23 06:08:04
字體:
來源:轉載
供稿:網友

一、網絡爬蟲的定義

網絡爬蟲,即Web Spider,是一個很形象的名字。
把互聯網比喻成一個蜘蛛網,那么Spider就是在網上爬來爬去的蜘蛛。
網絡蜘蛛是通過網頁的鏈接地址來尋找網頁的。
從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,
然后通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。
如果把整個互聯網當成一個網站,那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
這樣看來,網絡爬蟲就是一個爬行程序,一個抓取網頁的程序。
網絡爬蟲的基本操作是抓取網頁。
那么如何才能隨心所欲地獲得自己想要的頁面?
我們先從URL開始。

二、瀏覽網頁的過程

抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。
比如說你在瀏覽器的地址欄中輸入    www.baidu.com    這個地址。
打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”,向服務器端發送了 一次請求,把服務器端的文件“抓”到本地,再進行解釋、展現。
HTML是一種標記語言,用標簽標記內容并加以解析和區分。
瀏覽器的功能是將獲取到的HTML代碼進行解析,然后將原始的代碼轉變成我們直接看到的網站頁面。

三、URI和URL的概念和舉例

簡單的來講,URL就是在瀏覽器端輸入的    http://www.baidu.com    這個字符串。
在理解URL之前,首先要理解URI的概念。
什么是URI?
Web上每種可用的資源,如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標志符(Universal Resource Identifier, URI)進行定位。
URI通常由三部分組成:
①訪問資源的命名機制;
②存放資源的主機名;
③資源自身 的名稱,由路徑表示。
如下面的URI:
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它:
①這是一個可以通過HTTP協議訪問的資源,
②位于主機 www.webmonkey.com.cn上,
③通過路徑“/html/html40”訪問。

四、URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫,譯為“統一資源定位 符”。
通俗地說,URL是Internet上描述信息資源的字符串,主要用在各種WWW客戶程序和服務器程序上。
采用URL可以用一種統一的格式來描述各種信息資源,包括文件、服務器的地址和目錄等。
URL的一般格式為(帶方括號[]的為可選項):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分組成:

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 六枝特区| 图片| 凤台县| 民乐县| 绍兴市| 龙海市| 梅河口市| 永仁县| 特克斯县| 徐汇区| 康保县| 连城县| 连云港市| 清涧县| 雅安市| 方城县| 都昌县| 巴彦淖尔市| 威信县| 绩溪县| 五家渠市| 安乡县| 潞西市| 中超| 丁青县| 安泽县| 广水市| 南木林县| 盖州市| 绥化市| 龙南县| 峡江县| 行唐县| 五河县| 分宜县| 甘孜县| 新乐市| 蒙自县| 收藏| 伊吾县| 叶城县|