前言

之前剛剛入門python爬蟲，有大概半個月時間沒有寫python了，都快遺忘了。于是準備寫個簡單的爬蟲練練手，我覺得網易云音樂最優特色的就是其精準的歌曲推薦和獨具特色的用戶評論，于是寫了這個抓取網易云音樂熱歌榜里的熱評的爬蟲。我也是剛剛入門爬蟲，有什么意見和問題歡迎提出，大家一起共同進步。

廢話就不多說了～下面來一起看看詳細的介紹吧。

我們的目標是爬取網易云中的熱歌排行榜中所有歌曲的熱門評論。

這樣既可以減少我們需要爬取的工作量，又可以保存到高質量的評論。

實現分析

首先，我們打開網易云網頁版，如圖：

點擊排行榜，然后點擊左側云音樂熱歌榜，如圖：

我們先隨便打開一個歌曲，找到如何抓取指定的歌曲的熱門歌評的方法，如圖，我選了一個最近我比較喜歡的歌曲為例：

進去后我們會看到歌評就在這個頁面的下面，接下來我們就要想辦法獲取這些評論。

接下來打開web控制臺(chrom的話打開開發者工具，如果是其他瀏覽器應該也是類似)，chrom下按F12，如圖：

選則Network，然后我們按F5刷新一下，刷新之后得到的數據如下圖所示：

可以看到瀏覽器發送了非常多的信息，那么哪一個才是我們想要的呢？這里我們可以通過狀態碼做一個初步的判斷，status code（狀態碼）標志了服務器請求的狀態，這里狀態碼為200即表示請求正常，而304則表示不正常（狀態碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了）。所以我們一般只用看狀態碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預覽來粗略觀察服務器返回了什么信息（或者查看響應）。通過這兩種方法結合一般我們就可以快速找到我們想要分析的請求。通過反復的查找，終于找到了含有歌評的請求，如圖：

可能截圖在CSDN上不是很清楚，我們在一個Name為R_SO_4_489998494?csrf_token=的POST請求中找到了包含這首歌的歌評。我們把這個分塊截圖發出來，這樣可以看的清楚一些：