asp.net 抓取网页数据(抓取网页数据分析报告(工程量非常大)-asp-net)

　　asp.net 抓取网页数据(抓取网页数据分析报告(工程量非常大)-asp-net)

　　抓取网页数据分析报告(工程量非常大，可放到网络数据包中直接抓取)-asp-net，可以看看我写的这篇大牛文章。aspx是asp的升级版。与asp相比，

　　有多种方法，可以有多线程抓包，nodejs同时抓取多个。使用vbscript等可以实现批量抓包。也可以直接开发爬虫，如利用python/asp/java/nodejs等技术的requests/pandas等库对网页抓取的进行清洗批量处理等。此外，也可以根据用户需求开发一些更有特色的python爬虫，以满足更多用户的需求。微软提供的服务，比如office中的python版本。

　　关键是要看你们网站的开发环境是windows还是linux系统，如果是windows的话，可以用cmd命令行程序，或者可以有基于python的发行版python3.5或更高版本，

　　c#或者vb

　　你提到了两个概念，网络库和爬虫。前者技术已经烂大街了，后者主要在于思维的锻炼和能力的提升，具体方法参见"用c#开发脚本引擎：celery"这篇文章。

　　如果是从任务调度来讲，windows的控制台程序就可以直接抓web网页，要求的不需要太高。

　　windows上的网络模块已经相当成熟，容易实现。但是我要推荐学习其它的理论和规范，例如tcp/ip协议，多线程，分布式等。本人有一套实战教程，不是单纯靠控制台程序，但是可以应用到许多实际场景中，无关技术。3天时间可以提高解析网页的能力，当然也能够直接实现对web网页的抓取。