c#抓取网页数据(网页内容采集器)

　　c#抓取网页数据(网页内容采集器)

　　见预览图：./xxpyeippx/archive/2008/03/31/1131211.html运行环境windows nt/xp/2003 or Framework1.1SqlServer 2000开发环境VS 2003学习网络编程的目的，一直必须做点什么。所以我想制作一个网页内容采集器。作者主页： .How to use 测试数据来自cnBlog。如下图，用户首先填写“起始页”，即从采集开始的页面。然后填写数据库连接字符串，这里是定义插入采集的数据的数据库，然后选择表名，不用多说。网页编码，如果不出意外，大陆可以用UTF-8来爬取常规文件名：呵呵，这个工具明明是给程序员的。您必须直接填写。比如cnblogs都是数字的，所以我写了\d来帮助建表：用户指定要创建多少个varchar类型和几个text类型，主要针对短数据和长数据。如果您的表中已经有列，则可以避免使用它。程序中没有验证。在网页设置中：采集标记前后的内容：比如有xxx，如果我要采集xxx，就写“to”，意思当然是to之间的内容。以下文本框用于显示内容。点击“获取 URL”，查看它捕获的 Url 是否正确。点击“采集”将采集的内容放入数据库，然后使用Insert xx()（选择xx）直接插入目标数据。程序代码量很小（也很简单），需要修改。缺点适用于正则表达式和网络编程。因为是最简单的东西，不使用多线程，不使用其他优化方法，不支持分页。我测试了一下，得到了38条数据，使用了700M的内存。. . . 如果它有用，您可以更改它以使用它。方便程序员使用，无需编写大量代码。Surance Yin@Surance Center 转载请注明出处 如果它有用，您可以更改它以使用它。方便程序员使用，无需编写大量代码。Surance Yin@Surance Center 转载请注明出处 如果它有用，您可以更改它以使用它。方便程序员使用，无需编写大量代码。Surance Yin@Surance Center 转载请注明出处