国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > JavaScript > 正文

node.js實現博客小爬蟲的實例代碼

2019-11-20 08:48:41
字體:
來源:轉載
供稿:網友

前言

爬蟲,是一種自動獲取網頁內容的程序。是搜索引擎的重要組成部分,因此搜索引擎優化很大程度上就是針對爬蟲而做出的優化。

這篇文章介紹的是利用node.js實現博客小爬蟲,核心的注釋我都標注好了,可以自行理解,只需修改url和按照要趴的博客內部dom構造改一下filterchapters和filterchapters1就行了!

下面話不多說,直接來看實例代碼

var http=require('http');var Promise=require('Bluebird');var cheerio = require('cheerio');var url='http://www.immaster.cn';//博客地址function filterchapters1(html) {//解析文章鏈接 var $ =cheerio.load(html); var post=$('.post');  var content=[]; post.each(function (item) {  var postid=$(this).find('.tit').find('a').attr('href');  content.push(postid); }) return content;}function filterchapters(html) {//解析每個文章內的內容 var $ =cheerio.load(html); var tit=$('.post .tit').find('a').text(); var postid=$('.tit').find('a').attr('href'); var commentnum=$('.comments-title').text(); commentnum=commentnum.trim(); // commentnum=commentnum.replace('/n',''); var content={tit:tit,url:postid,commentnum:commentnum}; return content;}function getid(url){//爬取首頁文章鏈接 return new Promise(function (resolve,reject) { http.get(url,function (res) { var html = ''; res.on('data',function(data) { html+=data; }); res.on('end',function () { var content=filterchapters1(html) resolve(content);  })}).on('error',function () { reject(e); console.log('抓取出錯!') })})}function getpageAsync(url) {//爬取單個頁面內容 return new Promise(function (resolve,reject) { console.log('正在爬取……'+url) http.get(url,function (res) { var html = ''; res.on('data',function(data) { html+=data; }); res.on('end',function () { resolve(html);  }) }).on('error',function () { reject(e); console.log('抓取出錯!') }) })}getid(url) .then(function(postid){ return new Promise(function (resolve,reject) { var pageurls=[]; postid.forEach(function (id) { pageurls.push(getpageAsync(id)); }) resolve(pageurls); }) }) .then(function(pageurls){ return new Promise.all(pageurls);//讓promise對象同時開始運行 }) .then(function (pages) { var coursesData=[]; pages.forEach(function (html) { var courses=filterchapters(html); coursesData.push(courses); })coursesData.forEach(function(v){ console.log('標題:'+v.tit+"/n地址:"+v.url+"/n評論:"+v.commentnum) }) })

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家學習或者使用node.js實現爬蟲能有所幫助,如果有疑問大家可以留言交流。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 英超| 余江县| 尖扎县| 南投市| 青川县| 时尚| 南郑县| 稻城县| 涞源县| 徐汇区| 洛隆县| 固阳县| 乌拉特中旗| 高雄县| 丽水市| 阳城县| 佛坪县| 秀山| 平南县| 蒙城县| 萨迦县| 毕节市| 五峰| 易门县| 黔江区| 招远市| 胶州市| 丰县| 阿拉善盟| 上杭县| 五大连池市| 罗江县| 科技| 郁南县| 英超| 洛南县| 类乌齐县| 宁河县| 盐池县| 山丹县| 黎平县|