asp.net下獲取遠程網頁的內容之二（downmoon原創）

2020-01-18 01:44:06

字體：大中小

來源：轉載

供稿：網友

本文僅針AD下代理上網的情況：
代碼如下：
1、定義變量：
定義變量#region　定義變量

private    string strFireWallIP  
        ...{  
            get  
            ...{  
                return System.Configuration.ConfigurationSettings.AppSettings["strFireWallIP"];  
            }  
        }  
        private    string strFireWallPort  
        ...{  
            get  
            ...{  
                return System.Configuration.ConfigurationSettings.AppSettings["strFireWallPort"];  
            }  
        }  
        private    string strUID  
        ...{  
            get  
            ...{  
                return System.Configuration.ConfigurationSettings.AppSettings["strUID"];  
            }  
        }  
        private    string strPWD  
        ...{  
            get  
            ...{  
                return System.Configuration.ConfigurationSettings.AppSettings["strPWD"];  
            }  
        }  
        private    string strDomain  
        ...{  
            get  
            ...{  
                return System.Configuration.ConfigurationSettings.AppSettings["strDomain"];  
            }  
        }  
        #endregion 

方法：
獲取指定遠程網頁內容

復制代碼代碼如下:

 /**//// <summary>  
        /// 獲取指定遠程網頁內容  
        /// </summary>  
        /// <param name="strUrl">所要查找的遠程網頁地址</param>  
        /// <returns></returns>  
        //[WebMethod(Description = "獲取指定遠程網頁內容。")]  
        public string getPageContent(string strUrl)  
        ...{  
            string strResult        =    "";  
            this.CurrentUrl    =     strUrl;  
            if(this.CurrentUrl.ToLower().StartsWith("http://")==false)  
                this.CurrentUrl = "http://"+this.CurrentUrl;  
            try  
            ...{  
                contentBytes    = GetHtmlByte(CurrentUrl);  
            }  
            catch(Exception err)  
            ...{  
                strResult = "請求錯誤：" + err.Message;  
            }  
            if(contentBytes==null)  
            ...{  
                throw new Exception("沒有獲得返回值");  
            }  
            strResult        =    getStringFromByteArray(contentBytes,Encoding.UTF8);  
            return strResult;  
        } 

獲取指定遠程網頁元素字節數組::
獲取指定遠程網頁元素字節數組#region 獲取指定遠程網頁元素字節數組

復制代碼代碼如下:

        /**//// <summary>  
        /// 獲取指定遠程網頁元素字節數組  
        /// </summary>  
        /// <param name="strUrl">所要查找的遠程網頁地址</param>  
        /// <returns></returns>  
        private byte[] GetHtmlByte(string strUrl)  
        ...{  
            string strPara=(strUrl.IndexOf("?")>=0?strUrl.Substring(strUrl.IndexOf("?")+1):"");  
            System.Text.Encoding encoding    =    new UTF8Encoding();  
            byte[]  byte1                    =    encoding.GetBytes(strPara);  
            byte[]    byteReturn                =    new byte[10000000];  
            if(strUrl.Trim().ToLower().StartsWith("http://")==false)  
            ...{  
                strUrl = "http://"+strUrl;  
            }  
            HttpWebRequest myHttpWebRequest        =    (HttpWebRequest)WebRequest.Create(strUrl);  
            myHttpWebRequest.AllowAutoRedirect    =    true;         
            myHttpWebRequest.KeepAlive            =    true;  
            myHttpWebRequest.UserAgent            =    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)";  
            System.Net .WebProxy  proxy = new WebProxy(strFireWallIP+":"+strFireWallPort,true);  
            //proxy=(WebProxy)System.Net.GlobalProxySelection.Select;  
            System.Net.NetworkCredential myCredential = new NetworkCredential(strUID,strPWD,strDomain);  
            proxy.Credentials =myCredential;  
            myHttpWebRequest.Proxy = proxy;  
            HttpWebResponse myHttpWebResponse    =    (HttpWebResponse)myHttpWebRequest.GetResponse();  
            byte[] bRead    =    new byte[1024];  
            int lngCount    =    1;  
            int totalLen    =    0;  
            Stream recWeb    =    myHttpWebResponse.GetResponseStream();     
            lngCount        =    recWeb.Read(bRead,0,1024);  
            while(lngCount>0)  
            ...{  
                Array.Copy(bRead,0,byteReturn,totalLen,lngCount);  
                totalLen    +=    lngCount;  
                lngCount    =    recWeb.Read(bRead,0,1024);  
            }  
            recWeb.Close();  
            byte[] byteGets =    new byte[totalLen];  
            Array.Copy(byteReturn,0,byteGets,0,totalLen);  
            byteReturn        =    null;  
            bRead            =    null;  
            return byteGets;  
        }  
        #endregion 

轉換指定字節數組為字符串::
轉換指定字節數組為字符串#region　轉換指定字節數組為字符串

復制代碼代碼如下:

       /**//// <summary>  
        /// 轉換指定字節數組為字符串  
        /// </summary>  
        /// <param name="ByteGet">字節數組Byte[]</param>  
        /// <param name="myEncoding">編碼方式</param>  
        /// <returns></returns>  
        private static string getStringFromByteArray(Byte[] ByteGet,Encoding myEncoding)  
        ...{  
            int i,lngCount;  
            StringBuilder aTemp = new StringBuilder(10000);  
            lngCount = ByteGet.Length;  
            for(i = 0;i<lngCount;i+= 10000)  
            ...{  
                aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount>=i+10000?10000:lngCount - i)));  
            }  
            if(i<=lngCount)  
            ...{  
                aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount - i)));  
            }  
            return aTemp.ToString();  
        }  
        #endregion 