【抓取】asp.net 抓取网页源码三种实现方法-网页-源码

欢迎您访问我爱IT技术网，今天小编为你分享的编程技术是：【asp.net 抓取网页源码三种实现方法】，下面是详细的讲解！

asp.net 抓取网页源码三种实现方法

    public static string getHtml(string url, params  string [] charSets)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
    {
        try
        {
            string charSet=null;
            if (charSets.Length==1) {
                charSet=charSets[0];
            }
            WebClient myWebClient=new WebClient(); //创建WebClient实例myWebClient
            // 需要注意的：
            //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
            //这是就要具体问题具体分析比如在头部加入cookie
            // webclient.Headers.Add("Cookie", cookie);
            //这样可能需要一些重载方法。根据需要写就可以了

 
            //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
            myWebClient.Credentials=CredentialCache.DefaultCredentials;
            //如果服务器要验证用户名,密码
            //NetworkCredential mycred=new NetworkCredential(struser, strpassword);
            //myWebClient.Credentials=mycred;
            //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
            byte[] myDataBuffer=myWebClient.DownloadData(url);
            string strWebData=Encoding.Default.GetString(myDataBuffer);

 
            //获取网页字符编码描述信息
            Match charSetMatch=Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)\"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
            string webCharSet=charSetMatch.Groups[2].Value;
            if (charSet==null || charSet=="")
                charSet=webCharSet;

 
            if (charSet !=null && charSet !="" && Encoding.GetEncoding(charSet) !=Encoding.Default)
            {
                strWebData=Encoding.GetEncoding(charSet).GetString(myDataBuffer);
            }
            else {
                strWebData=Encoding.GetEncoding("utf-8").GetString(myDataBuffer);
            }
            return strWebData;
        }
        catch (Exception e) { return ""; }
    }

关于asp.net 抓取网页源码三种实现方法的用户互动如下：

　　相关问题：获取其他网页的数据(asp.net 完整代码) ,目前已经...

　　答：如何解析，其实还要看你的解析目的是什么，其实就是字符串的操作，你把抓取到的HTML代码看成一个字符串，你要从中得到什么，就从中截取出什么来。 比如，要抓取页面上所有的超链接，就在字符串中找，标签，把这一段取出来，再从中找出超链接文本... >>详细

　　相关问题：ASP.NETPOST别的网站后获取它的HTML代码字符串，想...

　　答：使用httpwebrequest post数据到对方网站，然后获取返回网页信息，分析返回网页信息的格式，再通过正则表达式来截取想要的信息。 >>详细

　　相关问题：在ASP.NET 的HTML代码页面中嵌入的C#变量值如何获...

　　答：说具体点儿 你为什么要这么做，获取又更号的方法实现你想要的功能 >>详细