php多线程抓取网页(由C#编写的多线程异步抓取网页的网络爬虫控制台程序)

　　php多线程抓取网页(由C#编写的多线程异步抓取网页的网络爬虫控制台程序)

　　C#编写的多线程异步网络爬虫控制台程序

　　描述：C#编写的多线程异步网络爬虫控制台程序。功能：目前只能提取网络链接，使用的两个记录文件不需要很大。暂时无法抓取网页文字、图片、视频和html代码，敬请谅解。但是需要注意的是，网页的数量非常多。下面的代码理论上可以捕获整个互联网网页链接。但实际上，由于处理器功能和网络条件（主要是网速）的限制，一般家用电脑最多可以处理12个线程的爬虫任务，爬虫速度是有限的。它可以爬行，但需要时间和耐心。当然，这个程序可以捕获所有链接，因为链接不占用太多系统空间，并且借助日志文件，可以将爬取的网页数量堆积起来，甚至可以访问所有互联网网络链接，当然最好分批进行。建议将maxNum设置为500-1000左右，慢慢积累。另外，由于是控制台程序，有时显示的字符过多，系统会暂停显示。这时候，只需点击控制台并按回车键即可。当程序暂停时，您可以按 Enter 尝试。/// 要使用这个程序，请确保已经创建了相应的记录文件。为简化代码，本程序不够健壮，请见谅。/// 默认文件创建在E盘根目录下的两个文本文件：“待爬取的URL.txt”和“待爬取的URL.txt” . 这两个文件需要用户自己创建，注意不要有后缀弄错。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫的速度是这样的：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个链接每分钟，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。并注意不要有后缀出错。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫的速度是这样的：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个链接每分钟，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。并注意不要有后缀出错。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫的速度是这样的：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个链接每分钟，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。这个爬虫的速度是这样的：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个链接每分钟，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。这个爬虫的速度是这样的：10个线程最快，大约每分钟500个链接，6-8个线程最快，每分钟大约400-500个链接，2-4个线程最快，大约200-400个链接每分钟，最快的单线程大概是每分钟70-100个链接被多线程异步爬取，完全是出于效率的考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。最快的单线程大概是每分钟多线程异步爬70-100个链接，完全是出于效率考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。最快的单线程大概是每分钟多线程异步爬70-100个链接，完全是出于效率考虑。本程序的多线程同步并不会带来速度的提升，只要爬取的网页不是太重复和冗余即可。异步并不意味着错误。

　　现在就下载