国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python抓取京東圖書評論數據

2020-02-23 05:44:52
字體:
來源:轉載
供稿:網友

 京東圖書評論有非常豐富的信息,這里面就包含了購買日期、書名、作者、好評、中評、差評等等。以購買日期為例,使用Python + Mysql的搭配進行實現,程序不大,才100行。相關的解釋我都在程序里加注了:

from selenium import webdriver
from bs4 import BeautifulSoup
import re
import win32com.client
import threading,time
import MySQLdb

def mydebug():
    driver.quit()
    exit(0)

def catchDate(s):
    """頁面數據提取"""
    soup = BeautifulSoup(s)
    z = []
    global nowtimes
   
    m = soup.findAll("div",class_="date-buy")
    for obj in m:
        try:
            tmp = obj.find('br').contents
        except Exception, e:
            continue
        if(tmp != ""):
            z.append(tmp)
            nowtimes += 1
    return z

def getTimes(n,t):
    """獲取當前進度"""
    return "當前進度為:" + str(int(100*n/t)) + "%"


#———————————————————————————————————| 程序開始 |—————————————————————————————————
#確定圖書大類
cate = {"3273":"歷史","3279":"心理學","3276":"政治軍事","3275":"國學古籍","3274":"哲學宗教","3277":"法律","3280":"文化","3281":"社會科學"}

#斷點續抓
num1 = input("bookid:")
num2 = input("pagenumber:")

#生成圖書大類鏈接,共需17355*20 = 347100次
totaltimes = 347100.0
nowtimes = 0

#開啟webdirver的PhantomJS對象
#driver = webdriver.PhantomJS()
driver = webdriver.Ie('C:/Python27/Scripts/IEDriverServer')
#driver = webdriver.Chrome('C:/Python27/Scripts/chromedriver')

#讀出Mysql中的評論頁面,進行抓取
# 連接數據庫 
try:
    conn = MySQLdb.connect(host='localhost',user='root',passwd='',db='jd')
except Exception, e:
    print e
    sys.exit()

# 獲取cursor對象
cursor = conn.cursor()
sql = "SELECT * FROM booknew ORDER BY pagenumber DESC"
cursor.execute(sql)
alldata = cursor.fetchall()

flag = 0
flag2 = 0

# 如果有數據返回就循環輸出,http://club.jd.com/review/10178500-1-154.html
if alldata:
    for rec in alldata:

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 浮山县| 淮北市| 安陆市| 甘南县| 若尔盖县| 岢岚县| 织金县| 政和县| 马龙县| 河北区| 精河县| 叶城县| 平山县| 广宗县| 平顶山市| 湖北省| 晴隆县| 长岛县| 盘锦市| 西青区| 当涂县| 涞源县| 陆川县| 长治市| 洛阳市| 康保县| 禄劝| 大田县| 光山县| 岳阳市| 平顶山市| 绥滨县| 贡嘎县| 南充市| 隆安县| 伊川县| 南郑县| 阿拉善左旗| 庄浪县| 扎赉特旗| 甘洛县|