c#抓取网页数据(C#编写的多线程异步抓取网页的网络爬虫控制台程序功能)

　　c#抓取网页数据(C#编写的多线程异步抓取网页的网络爬虫控制台程序功能)

　　描述：C#编写的多线程异步网络爬虫控制台程序。功能：目前只能提取网络链接，使用的两个记录文件不需要很大。暂时无法抓取网页文字、图片、视频和html代码，敬请谅解。但是需要注意的是，网页的数量非常多。下面的代码理论上可以捕获整个Internet网页链接。但实际上，由于处理器功能和网络条件（主要是网速）的限制，一般家用电脑最多可以处理12个线程的爬虫任务，爬虫速度是有限的。它可以爬行，但需要时间和耐心。当然，这个程序可以捕获所有链接，因为链接不占用太多系统空间，并且借助日志文件，可以将爬取的网页数量堆积起来，甚至可以访问所有互联网网络链接，当然最好是分批进行。建议将maxNum设置为500-1000左右，慢慢积累。另外，由于是控制台程序，有时显示的字符过多，系统会暂停显示。这时候，只需点击控制台并按回车键即可。当程序暂停时，您可以按 Enter 尝试。/// 要使用这个程序，请确保已经创建了相应的记录文件。为简化代码，本程序不够健壮，请见谅。/// 默认文件创建在E盘根目录下的两个文本文件，“待抓取的网址.txt”和“待抓取的网址.txt”。这两个文件需要用户自己创建，注意不要带后缀。犯了一个错误。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个每分钟链接数，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。犯了一个错误。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个每分钟链接数，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。这个程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。犯了一个错误。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个每分钟链接数，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。每分钟约500个链接，6-8个线程最快，约400-500个链接/分钟，2-4个线程最快，约200-400个链接/分钟，最快单线程约70-100的原因用多线程异步每分钟爬取链接完全是出于效率考虑。这个程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。每分钟约500个链接，6-8个线程最快，约400-500个链接/分钟，2-4个线程最快，约200-400个链接/分钟，最快单线程约70-100的原因用多线程异步每分钟爬取链接完全是出于效率考虑。这个程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。这个程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。这个程序的多线程同步并没有带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。