C#图片采集软件,自动翻页,自动分类(用于采集精美图片的必要工具)(1)
优采云 发布时间: 2020-08-05 17:08网站站长希望将其他人的整个网站数据下载到自己的网站上,或将其他人的网站的某些内容保存到自己的服务器上. 从内容中提取相关字段并将其发布到您的网站系统. 有时有必要在本地保存与Web相关的文件,例如图片和附件.
图片获取软件可以在任何网站上采集各种格式的图片,实现将所有图片,新闻,帖子等中间的所有图片有序排序的功能,然后将其保存在计算机上. 所有帖子的图片都在本地采集,并且广告可以轻松过滤. 对于喜欢采集精美图片的网站和论坛网站管理员以及朋友来说,它是必不可少的工具.
本文演示了如何使用C#WebBrowser控件自动识别下一页,按标题排序以及自动下载图片(不再重复). 效果如图1所示. 随附的代码下载中提供了完整的源代码.
图1效果图
演示程序结构
要创建演示程序,我选择在Visual Studio 2013中创建一个名为ImgSpider的新C#Windows Form应用程序,并添加了Controls文件夹以收录程序包标签和文本框控件. Core文件夹收录字典实体Entity使用的基类; Entity文件夹具有一个映射类,用于读取配置文件dict.xml. Helper文件夹具有用于下载图片的DownLoadHelper,HtmlParserHelper解析HTML,而XmlHelper读取XML文档. 表单文件frmAutoBorwser是程序的操作界面. 图2显示了该演示程序的总体结构.
程序执行表单文件frmAutoBorwser
在表单文件frmAutoBorwser中使用的控件,
首先,WebBrowser控件
WebBrowser是.NET控件类,是.NET Framework 2.0版本中新添加的. WebBrowser类允许用户浏览表单中的网页. 使用WebBrowser控件可以承载支持Windows Forms应用程序中的浏览器的网页和其他文档. 例如,您可以使用WebBrowser控件在应用程序中提供基于HTML的集成用户帮助或Web浏览功能. 此外,您还可以使用WebBrowser控件将现有的基于Web的控件添加到Windows Forms客户端应用程序中.
第二,计时器控制
通过触发Timer事件,Timer控件可以定期执行代码.
第三,DataGridView控件
将数据绑定到DataGridView控件非常简单直观. 在大多数情况下,只需设置DataSource属性即可.
点击按钮拍摄图片
WebBrowser.Navigate方法将网页导航到集合的起始URL. 应该注意的是,只有在加载WebBrowser控件后才能继续采集操作. 通过Timer控件定期加载WebBrowser控件之后要采集的任务.
获取当前页面标题URL并确定是否已下载
处理需要下载的标题URL,然后WebBrowser导航到指定的URL
获取当前标题图像URL,然后WebBorwser导航到下一个图像URL
下载图片,确定是否按标题拆分,更新Access数据库
DownLoadHelper.cs文件的主要方法是
下载图片
HtmlParserHelper.cs文件的主要方法
首先,获取当前图片URL和下一个图片URL