网络采集器

　　引用：%B4%F3%CE%B0/blog/item/941ed8b49ee58f6b8bd4b2e2.html

　　我们在浏览网页的时侯，都会在浏览器地址栏中输入须要访问的地址，通常这种地址都是以HTTP打头，表明是采用HTTP协议实现和站点通信，HTTP确切的说法是超文本传输协议，归根结底还是文本，所以传输的内容就是文本，浏览的网页也是文本，这就是我们可以采集网站数据的根本。

　　同时，在地址栏中我们就会看见网址中会收录www的字样，这表示我们恳求的是Web服务，WWW服务（3W服务）是目前应用最广的一种基本互联网应用。WWW服务使用的是超文本链接（HTML），所以可以很方便的从一个信息页转换到另一个信息页。它除了能查看文字，还可以欣赏图片、音乐、*敏*感*词*。

　　至此，我们晓得，浏览网页实际是采用HTTP合同向Web服务恳求一个超文本（HTML），这个超文本收录有文字、图片、音乐等内容，这就是我们最终见到的网页。同时我们所采集的数据也收录在这个超文本中。超文本（HTML）有自己的规则，通过这种规则，浏览器会手动辨识超文本格式，知道该用何种方法展示页面，这也是我们看见不同网页风格的根本。如果我们通过浏览器，查看网页源码都会发觉好多标示的内容，这就是HTML的规范内容，当然还有好多其他规范。

　　手工方法进行数据采集流程：

　　1、用浏览器（浏览器但是IE、Firefox）打开一个网页

　　2、用浏览器查看网页源代码（Firefox）或查看源文件（IE）的功能打开这个网页的传输文本内容

　　3、可以把这个文本内容全部拷贝到一个专业的文本编辑工具中，譬如：UltraEdit，也或则直接采用浏览器自带的功能

　　4、通过查找的功能，开始查找您想要的内容

　　5、找到然后须要把它拷贝下来

　　参考资料

　　网络矿工数据采集软件用户指南

　　C#多线程网页采集器(Spider)

　　采集函数（采集、分析、替换、入库一体）

　　ASP.NET(C#)经典采集代码

　　下数据采集方法及示例

　　魏言ASP.NET数据采集封装类,封装了所有数据采集需要的技巧

　　log4net使用解读

　　ASP.N优采云采集器系统万能正则表达式

　　.NETC#群发HTML格式带附件英文发送者密送抄送的电邮

　　.net程序中资源文件的保护办法阐述

　　C#借助代理(proxy)爬网

　　sql生成100W条指定位数的随机数的方式(只耗费了不足1分钟)(整理)