asp.net 抓取网页数据(抓取网页数据的流程：1.服务器返回文本数据)

　　asp.net 抓取网页数据(抓取网页数据的流程：1.服务器返回文本数据)

　　抓取网页数据的流程：1.用浏览器打开这个地址，需要自己自定义dom/.php然后启动环境2.此时执行了一次post请求。3.服务器返回文本数据，就是由html源码构成的asp/html。4.客户端接收html源码后解析，可以得到数据，也可以得到html的字符串/字符串进行编码等处理5.客户端将对应html类型转化为字符串，用content-type对数据进行处理，将对应的web应用的数据类型转化为asp应用的数据类型。

　　也就是说asp应用解析了数据，转化了对应的html，转化的结果是字符串，用bean表示。6.服务器返回数据给客户端，得到html，最后的浏览器解析这个html。如下图，以我的思维分析，抓取网页，一定要在post请求，也就是http请求中体现。回答问题：其实同一个asp网页是可以多次解析的。

　　拿页面从控制台打开浏览器抓取firsturl页面的时候，发现已经抓取不下去了，用shutil.querymer就能打开文件，用content_type1来解析post。我觉得是能多次解析的，但为了实现抓取某个页面的时候，尽量避免从根本上多次解析网页，但解析数据库，好像不同的asp解析得到的数据格式应该不一样，应该是多次解析。

　　会这样吗？如果知道java或php等脚本语言的基本内容，是不是通过一些封装一层插件的方式，就能解析并处理多页面php页面的内容，