国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > .NET > 正文

Asp.Net、asp實現的搜索引擎網址收錄檢查程序

2024-07-10 12:43:10
字體:
來源:轉載
供稿:網友

使用asp.net或者asp檢查某個url地址,某篇文章是否被搜索引擎,如百度,谷歌,搜狗收錄。

實現原理:直接搜索你那篇文章的url地址(不帶協議,但上協議也行,代碼會自動去掉協議內容),如果被索引會返回搜索結果,否則會提示找不到信息。

Asp.Net檢查百度,谷歌,搜狗搜索引擎是否收錄文章網址源代碼:

using System;using System.Net;using System.Text;using System.IO;using System.Web;public class SearchEngineIndex{  public static string[] urls = { //搜索引擎檢查地址      "http://www.baidu.com/s?ie=utf-8&wd=",//百度索引url檢查地址      "https://www.google.com.hk/search?q=",//谷歌索引url檢查地址      "http://www.sogou.com/web?ie=utf8&query="http://搜狗索引url檢查地址    }    , noFindKeyword = { "抱歉,沒有找到與", "找不到和您的查詢", "未收錄?" };//搜索引擎未索引url地址時的關鍵字  /// <summary>  /// 獲取響應的編碼  /// </summary>  /// <param name="contenttype"></param>  /// <returns></returns>  private static Encoding GetEncoding(string contenttype)  {    if (!string.IsNullOrEmpty(contenttype))    {      contenttype = contenttype.ToLower();      if (contenttype.IndexOf("gb2312") != -1 || contenttype.IndexOf("gbk") != -1) return Encoding.GetEncoding(936);      if (contenttype.IndexOf("big5") != -1) return Encoding.GetEncoding(950);    }    return Encoding.UTF8;  }  /// <summary>  /// 使用HttpWebRequest對象,自動識別字符集  /// </summary>  /// <param name="url"></param>  /// <param name="addUseragent">是否添加UserAgent,采集其他網站時防止被攔截</param>  /// <returns></returns>  public static string GetHtml(string url, bool addUseragent)  {    HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);    if (addUseragent) request.UserAgent = "Googlebot|Feedfetcher-Google|Baiduspider";    string html = null;    try    {      HttpWebResponse response = (HttpWebResponse)request.GetResponse();      StreamReader srd = new StreamReader(response.GetResponseStream(), GetEncoding(response.ContentType));      html = srd.ReadToEnd();      srd.Close();      response.Close();    }    catch { }    return html;  }  /// <summary>  /// 檢查某個url是否被搜索引擎索引  /// </summary>  /// <param name="url">url地址</param>  /// <param name="engin">0:百度 1:谷歌 2:搜狗,其他搜索引擎如bing和360直接查網址顯示的結果不是直接得到網址的,有些出入,不做檢查</param>  /// <returns></returns>  public static bool CheckIndex(string url, int engin)  {    if (string.IsNullOrEmpty(url)) return false;    if (engin < 0 || engin > 2) engin = 0;    url = urls[engin] + HttpUtility.UrlEncode(url.ToLower().Replace("http://", "").Replace("https://", ""));    bool r = true;    string html = GetHtml(url, true);    if (html == null || html.IndexOf(noFindKeyword[engin]) != -1) r = false;    return r;  }}//調用方法示例    SearchEngineIndex.CheckIndex("www.survivalescaperooms.com/article/20101014/2902.aspx", 0);//檢查百度索引    SearchEngineIndex.CheckIndex("www.survivalescaperooms.com/article/20101014/2902.aspx", 1);//檢查谷歌索引    SearchEngineIndex.CheckIndex("www.survivalescaperooms.com/article/20101014/2902.aspx", 2);//檢查搜狗索引            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 霍邱县| 夹江县| 盖州市| 马尔康县| 土默特右旗| 祁连县| 锡林浩特市| 高密市| 右玉县| 肇州县| 阜阳市| 辽宁省| 新龙县| 东莞市| 台南市| 白玉县| 汾阳市| 灵石县| 靖边县| 北票市| 丹寨县| 呼图壁县| 江源县| 奉节县| 晴隆县| 怀安县| 辽宁省| 米林县| 黔东| 同心县| 龙口市| 蒙自县| 齐齐哈尔市| 东港市| 德安县| 昆明市| 阜南县| 高邮市| 永靖县| 独山县| 东海县|