【抓取】asp.net c# 抓取页面信息方法介绍-页面

欢迎您访问我爱IT技术网，今天小编为你分享的编程技术是：【asp.net c# 抓取页面信息方法介绍】，下面是详细的讲解！

asp.net c# 抓取页面信息方法介绍

一：网页更新
我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多长时间需要抓一次该页面，其实这个定期也就是页面缓存时间，在页面的缓存时间内我们再次抓取该网页是没有必要的，反而给人家服务器造成压力。
就比如说我要抓取博客园首页，首先清空页面缓存，

从Last-Modified到Expires，我们可以看到，博客园的缓存时间是2分钟，而且我还能看到当前的服务器时间Date，如果我再次

刷新页面的话，这里的Date将会变成下图中 If-Modified-Since,然后发送给服务器，判断浏览器的缓存有没有过期？

最后服务器发现If-Modified-Since >=Last-Modifined的时间，服务器也就返回304了，不过发现这cookie信息真是贼多啊 。

在实际开发中，如果在知道网站缓存策略的情况下，我们可以让爬虫2min爬一次就好了，当然这些都是可以由数据团队来配置维护了， 好了，下面我们用爬虫模拟一下。


二：网页编码的问题

有时候我们已经抓取到网页了，准备去解析的时候，tmd的全部是乱码，真是操蛋，比如下面这样，


或许我们依稀的记得在html的meta中有一个叫做charset的属性，里面记录的就是编码方式，还有一个要点就是response.CharacterSet这个属性中同样也记录了编码方式，下面我们再来试试看。

居然还是乱码，蛋疼了，这次需要到官网上面去看一看，到底http头信息里面都交互了些什么，凭什么浏览器能正常显示，爬虫爬过来的就不行。

查看了http头信息，终于我们知道了，浏览器说我可以解析gzip,deflate,sdch这三种压缩方式，服务器发送的是gzip压缩，到这里我们也应该知道了常用的web性能优化。


三：网页解析

既然经过千辛万苦拿到了网页，下一个就要解析了，当然正则匹配是个好方法，毕竟工作量还是比较大的，可能业界也比较推崇 HtmlAgilityPack这个解析工具，能够将Html解析成XML，然后可以用XPath去提取指定的内容，大大提高了开发速度，性能也不赖，毕竟Agility也就是敏捷的意思，关于XPath的内容，大家看懂W3CSchool的这两张图就OK了。




好了，打完收工，睡觉。。。

关于asp.net c# 抓取页面信息方法介绍的用户互动如下：

　　相关问题：c#、asp.net如何抓取网页中的某一部分信息？如taob...

　　答：HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url); HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse(); Stream stream = webResponse.GetResponseStream(); StreamReader reader = new StreamReade... >>详细

　　相关问题：asp.net(C#) 如何截取ip地址

　　答：方法很多，就是处理字符串的问题 原理:首先查找字符串最后一个"."的位置，然后再删除最后一个点后面的字符再加个"*" 举例： string ip = Request.UserHostAddress; ip=ip.Remove(ip.LastIndexOf('.')+1)+"*"; Response.Write(ip); 以上本机输出... >>详细

　　相关问题：求 asp.net（c#）后台生成静态页的思路和源码，就...

　　答：1）用fso,读取模板生成 2）NVelocity.dll组件，可以用html作为模板，然后asp.net负责数据输出，这个绝对专业 3) 第三种最简单，在.aspx页面写代码，直接输出.html，当然了，aspx页面要有模板信息 protected override void Render(System.Web.UI.... >>详细