国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > 建站經驗 > 正文

batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參

2019-11-02 17:03:54
字體：大 中 小
來源：轉載
供稿：網友
前言

要實現采集，默認方式是根據配置好的采集規則，在瀏覽器提交相應的參數即可完成后面的采集入庫全部動作。

而實現定時采集，與人工在瀏覽器提交有些區別，主要分兩大步驟：

一、編寫采集的url和相關參數，訪問這個url即可實現想要的采集模式。（這個url直接在瀏覽器提交同樣可以實現采集）

二、把定時訪問這個url的功能加到系統的定時任務里面，實現無人值守的定時采集。

具體實現方法請參考下面內容：

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件（跟后臺采集規則配置對應），都可以用文本編輯器打開查看。

其中 /configs/article/collectsite.php 是對總的采集站點配置，記錄了一共允許采集哪幾個站點。

里面包含類似這樣的內容：

$jieqiCollectsite['1']['name'] = '采集站點一'; 

$jieqiCollectsite['1']['config'] = 'abc_com'; 

$jieqiCollectsite['1']['url'] = 'http://www.abc.com'; 

$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';

$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';

$jieqiCollectsite['2']['config'] = 'def_net';

$jieqiCollectsite['2']['url'] = 'http://www.def.net';

$jieqiCollectsite['2']['subarticleid'] = '';

$jieqiCollectsite['2']['enable'] = '1';

參數含義解釋如下：

['1'] - 這里的 1 表示采集網站的數字序號，不同的采集站序號不能重復。

['name'] - 采集網站名稱。

['config'] - 網站英文標識，這個網站采集規則配置文件有關，比如這個值是 abc_com ，那么采集規則配置文件就是 /configs/article/site_abc_com.php。

['url'] - 采集網站網址。

['subarticleid'] - 采集網站，文章子序號運算方式，本項目主要為了兼容以前程序，新版本里面文章子序號可以通過采集獲得。

['enable'] - 是否允許采集，1 表示允許，0 表示禁止，默認為 1。

如前面所說，每個采集網站有個專門的采集規則配置文件，/configs/article/ 目錄下以 site_ 開頭的php文件，如 /configs/article/site_abc_com.php。

里面內容都與后臺采集規則設置相對應，具體細節不一一解釋。需要了解的是本文件里面內容分兩大部分，前面內容都是對網站內容采集規則的配置，而最后面 $jieqiCollect['listcollect']['0']，$jieqiCollect['listcollect']['1'] 這樣的設置是對網站"批量采集規則"的配置，比如按最近更新采集、按排行榜采集，可以設置多個。['0'] 這里的數字 0 表示批量采集類別的數字序號，同一個網站也不能重復。

2、編寫采集內容的url及參數

這里的采集是針對多篇文章批量采集，分兩種模式：

一、按頁面批量采集，比如采集最新更新列表或者排行榜列表，每個鏈接采集一頁。

鏈接格式如下：

http://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下：

www.jb51.net - 是指您的網址。

action - 字符串，程序執行的動作命令，固定值為 collect。

siteid - 數字類型，要采集的網站序號，具體哪個網站對應什么序號見配置文件collectsite.php。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 唐山市| 奈曼旗| 三门县| 宜君县| 尼勒克县| 西吉县| 香格里拉县| 石嘴山市| 沛县| 汤阴县| 名山县| 罗江县| 封丘县| 田阳县| 双桥区| 石棉县| 乐业县| 思南县| 清河县| 吴旗县| 二连浩特市| 勃利县| 扬中市| 洛浦县| 英山县| 海门市| 沭阳县| 玉门市| 尖扎县| 九龙坡区| 泗洪县| 黄骅市| 吴堡县| 呼玛县| 景东| 天峨县| 穆棱市| 滨州市| 晋中市| 新乡县| 尖扎县|