
json是一種輕量級的數據交換格式,也可以說是一種配置文件的格式

這種格式的文件是我們在數據處理經常會遇到的
python提供內置的模塊json,只需要在使用前導入即可
你可以通過幫助函數查看json的幫助文檔

json常用的方法有load、loads、dump以及dumps,這個都屬于python初級,我不做過多解釋
json可以結合數據庫一起使用,在這以后要處理大量數據時非常有用
下面我們正式來利用數據挖掘對json文件進行處理
現在很多網站都運用了Ajax,所以一般很多都是XHR文件
通過這里我想利用一個地圖網站來演示

我們通過瀏覽器的調試獲取了相關url
https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ
下面我們通過requests模塊中的get方法,模擬瀏覽器發出的http請求,并返回的到的結果對象
代碼如下
# coding=utf-8__Author__ = "susmote"import requestsurl = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"resp = requests.get(url)print(resp.text[0:200])
在終端中運行結果如下

數據已經獲取到了,但是為了接下來能使用這些數據,我們需要利用json模塊對這些數據進行分析
代碼如下
import requestsimport jsonurl = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"resp = requests.get(url)json_dict = json.loads(resp.text)print(type(json_dict))print(json_dict.keys())
簡單講一下上面的代碼:
導入json模塊,然后調用loads方法,將返回的文本作為方法的參數傳入
在終端中運行結果如下

可以看出,轉換的結果是與json字符串對應的字典,因為type(json_dict)返回的是<class 'dict'>
因為對象是一個字典,所以我們可以調用字典的方法,在這里我們調用的就是keys方法
結果返回三個鍵,即status、searcOpt、data
下面我們來查看data鍵里面的數據
import requestsimport jsonurl = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"resp = requests.get(url)json_dict = json.loads(resp.text)print(json_dict['data'])
下面在終端中運行這一段代碼

可以看到里面有很多我們需要的數據,如
新聞熱點
疑難解答