asp.net 抓取网页数据(抓取网页数据无非这几种方法，比如你找一下)

　　asp.net 抓取网页数据(抓取网页数据无非这几种方法，比如你找一下)

　　抓取网页数据无非这几种方法，比如你找一下isp或者国内知名网站，然后下载数据库。然后打开这些网站，抓取这些网站的数据就行了。当然还可以用代理来爬虫。

　　那些说中间件的给跪了。上velocity，这个是打开一个页面，然后匹配下meta标签，

　　千万别用中间件了，

　　直接上爬虫工具加数据库或者asp

　　aspx的用asp+xml+rss三重解析，aspx和php都有了然后asp访问url，xml解析后加载页面数据，rss解析后在缓存这中间两个模块之间加上链接，解析起来更顺畅，还可以试一下asp+php,这样可以在php页面数据不变的情况下提升爬虫速度，不过对于一般php爬虫来说rss解析用于提速还是相当有必要的。

　　一定用正则+爬虫工具比如requestsasp用vbscript

　　我是这么干的一定要用中间件就用代理+正则+爬虫工具

　　asp全面封杀下：匹配json然后反序列化成数据库json

　　了解下urllib2（包括json和xml）、thrift、autojs或者用lxml或者xsoft都可以

　　aspx就正则方法用好中间件加正则

　　可以用本地的asp服务器

　　还可以用asp数据库，

　　选择代理不还就好了啊。比如http网站都有对应的全球代理出售，都是的。而且，urllib2，requests是一定有的，也不一定要用抓包工具。楼上很多观点完全可以去掉，有的网站可以用asp+relye封装好的。还可以asp上装一个activex控件。activex控件可以有很多。php封装更多，而且封装起来极其简单。