网页新闻抓取(由C#编写的多线程异步抓取网页的网络爬虫控制台程序)

　　网页新闻抓取(由C#编写的多线程异步抓取网页的网络爬虫控制台程序)

　　一个C#编写的网页爬虫控制台程序，用于网页的多线程异步爬取

　　描述：C#编写的多线程异步抓取网页的爬虫控制台程序功能：目前只能提取网络链接，使用的两个录音文件不需要很大。网页文字、图片、视频和html代码暂时无法爬取，请见谅。但是需要注意的是，网页的数量非常大。下面的代码理论上可以捕获整个互联网网页的链接。但实际上，由于处理器功能和网络条件（主要是网速）的限制，一般家用电脑最多只能抓取12个线程左右的任务，抓取速度是有限的。抢夺是可能的，但需要时间和耐心。当然，这个程序有可能抓取所有的链接，因为链接不占用太多系统空间，并且借助记录文件，可以累计爬取网页的数量，甚至可以访问所有Internet网络链接。羽绒当然最好是分批。建议将maxNum设置为500-1000左右，慢慢积累。另外，由于是控制台程序，有时显示的字符过多，系统会暂停显示。这时候只需点击控制台，按回车键即可。当程序暂停时，您可以尝试按 Enter 键。/// 使用本程序时，请确保已创建对应的记录文件。为了简化代码，这个程序不够健壮，请见谅。/// 默认文件创建在两个文本文件“爬取的URL.txt”和“ 用户需要自己创建这两个文件。弄错了。这两个文件中的链接基本都是有效链接，可以单独处理使用。该爬虫的速度如下： 最快 10 个线程 大约每分钟 500 个链接 最快 6-8 个线程 大约每分钟 400-500 个链接 最快 2-4 个线程 大约每分钟 200-400 个链接 单线程最快大约每分钟70-100个链接之所以用多线程异步爬取纯粹是为了效率的原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。用户需要自己创建这两个文件。弄错了。这两个文件中的链接基本都是有效链接，可以单独处理使用。该爬虫的速度如下： 最快 10 个线程 大约每分钟 500 个链接 最快 6-8 个线程 大约每分钟 400-500 个链接 最快 2-4 个线程 大约每分钟 200-400 个链接 单线程最快大约每分钟70-100个链接之所以用多线程异步爬取纯粹是为了效率的原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。这两个文件中的链接基本都是有效链接，可以单独处理使用。该爬虫的速度如下： 最快 10 个线程 大约每分钟 500 个链接 最快 6-8 个线程 大约每分钟 400-500 个链接 最快 2-4 个线程 大约每分钟 200-400 个链接 单线程最快大约每分钟70-100个链接之所以用多线程异步爬取纯粹是为了效率的原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。这两个文件中的链接基本都是有效链接，可以单独处理使用。该爬虫的速度如下： 最快 10 个线程 大约每分钟 500 个链接 最快 6-8 个线程 大约每分钟 400-500 个链接 最快 2-4 个线程 大约每分钟 200-400 个链接 单线程最快大约每分钟70-100个链接之所以用多线程异步爬取纯粹是为了效率的原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。最快10个线程 最快每分钟500个链接 最快6-8个线程 最快每分钟400-500个链接 最快2-4个线程 最快每分钟200-400个链接 单线程最快约70-100个原因使用多线程异步抓取每分钟链接纯粹是出于效率原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。最快10个线程 最快每分钟500个链接 最快6-8个线程 最快每分钟400-500个链接 最快2-4个线程 最快每分钟200-400个链接 单线程最快约70-100个原因使用多线程异步抓取每分钟链接纯粹是出于效率原因。这个程序的多线程同步并不能带来速度的提升。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。只要爬取的网页没有过于重复和冗余，就可以了。异步并不意味着错误。

　　现在下载