国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

ruby+nokogori抓取糗事百科前10頁并存儲進數據庫示例

2019-10-26 19:22:38
字體:
來源:轉載
供稿:網友

ruby,nokogori,爬取糗事百科最新的10頁加圖片比并同時保存進文本跟數據庫

代碼如下:
#encoding:utf-8
require "open-uri"
require "nokogiri"
require "mysql"
@dbh=Mysql.real_connect("localhost","root","dengli","pachong")
@file=open("qb.txt","w")
def getQiubai(url)
  data=open(url){|f| f.read}
  doc=Nokogiri::HTML(data)
  doc.css('div.block.untagged.mb15.bs2').each{|p|
    content=p.css('div.content').text
    @file.puts("#{content}/n")
    img=p.css('div.thumb img').each{|img|
       imgAddr=img.attr('src')
       @file.puts("#{imgAddr}/n")
       time=Time.now
       sql="INSERT INTO qiushibaike (`body`,`img`,`time`) VALUES ('#{content}','#{imgAddr}','#{time}')"
       @dbh.query(sql)
       }
  }
end
for i in 1..10
  @file.puts("這是第#{i}頁")
  url="http://www.qiushibaike.com/8hr/page/#{i}"
  getQiubai(url)
end

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 衡山县| 南城县| 辽源市| 闻喜县| 镇沅| 中阳县| 伊春市| 年辖:市辖区| 襄垣县| 玉山县| 彩票| 红安县| 沈丘县| 开封市| 天峻县| 嘉祥县| 渑池县| 司法| 泰和县| 新宾| 额尔古纳市| 奇台县| 崇文区| 新乐市| 莱阳市| 南皮县| 桐庐县| 拉萨市| 贵南县| 汉寿县| 农安县| 永和县| 江孜县| 辰溪县| 阳曲县| 镶黄旗| 鄯善县| 屯门区| 伊春市| 额敏县| 乐安县|