前言:最近想學習node.js,突然在網上看到基于node的爬蟲制作教程,所以簡單學習了一下,把這篇文章分享給同樣初學node.js的朋友。
目標:爬取 http://tweixin.yueyishujia.com/webapp/build/html/ 網站的所有門店發型師的基本信息。
思路:訪問上述網站,通過chrome瀏覽器的network對網頁內容分析,找到獲取各個門店發型師的接口,對參數及返回數據進行分析,遍歷所有門店的所有發型師,直到遍歷完畢,同事將信息存儲到本地。
步驟一:安裝node.js
下載并安裝node,此步驟比較簡單就不詳細解釋了,有問題的可以直接問一下度娘。
步驟二:建立工程
1)打開dos命令條,cd進入想要創建項目的路徑(我將此項目直接放在了E盤,以下皆以此路徑為例);
2)mkdir node (創建一個文件夾用來存放項目,我這里取名為node);
3)cd 進入名為node的文件夾,并執行npm init初始化工程(期間會讓填寫一些信息,我是直接回車的);
步驟三:創建爬取到的數據存放的文件夾
1)創建data文件夾用來存放發型師基本信息;
2)創建image文件夾用來存儲發型師頭像圖片;
此時工程下文件如下:
步驟四:安裝第三方依賴包(fs是內置模塊,不需要單獨安裝)
1)npm install cheerio 主站蜘蛛池模板: 宣武区| 岱山县| 尖扎县| 获嘉县| 延庆县| 枝江市| 徐水县| 富宁县| 文昌市| 兴化市| 柳州市| 临潭县| 德清县| 嘉鱼县| 安宁市| 开远市| 拜城县| 徐汇区| 德令哈市| 滦南县| 深水埗区| 福鼎市| 云和县| 商城县| 公主岭市| 澳门| 恩平市| 宁蒗| 灵山县| 区。| 安泽县| 融水| 佛山市| 海晏县| 望都县| 玉树县| 黎川县| 鲜城| 驻马店市| 长乐市| 苏尼特右旗|