C#图片采集软件,自动翻页,自动分类(用于采集精美图片的必要工具)(1)

优采云 发布时间: 2020-08-05 17:08

  网站站长希望将其他人的整个网站数据下载到自己的网站上,或将其他人的网站的某些内容保存到自己的服务器上. 从内容中提取相关字段并将其发布到您的网站系统. 有时有必要在本地保存与Web相关的文件,例如图片和附件.

  图片获取软件可以在任何网站上采集各种格式的图片,实现将所有图片,新闻,帖子等中间的所有图片有序排序的功能,然后将其保存在计算机上. 所有帖子的图片都在本地采集,并且广告可以轻松过滤. 对于喜欢采集精美图片的网站和论坛网站管理员以及朋友来说,它是必不可少的工具.

  本文演示了如何使用C#WebBrowser控件自动识别下一页,按标题排序以及自动下载图片(不再重复). 效果如图1所示. 随附的代码下载中提供了完整的源代码.

  

  图1效果图

  演示程序结构

  要创建演示程序,我选择在Visual Studio 2013中创建一个名为ImgSpider的新C#Windows Form应用程序,并添加了Controls文件夹以收录程序包标签和文本框控件. Core文件夹收录字典实体Entity使用的基类; Entity文件夹具有一个映射类,用于读取配置文件dict.xml. Helper文件夹具有用于下载图片的DownLoadHelper,HtmlParserHelper解析HTML,而XmlHelper读取XML文档. 表单文件frmAutoBorwser是程序的操作界面. 图2显示了该演示程序的总体结构.

  

  程序执行表单文件frmAutoBorwser

  在表单文件frmAutoBorwser中使用的控件,

  首先,WebBrowser控件

  WebBrowser是.NET控件类,是.NET Framework 2.0版本中新添加的. WebBrowser类允许用户浏览表单中的网页. 使用WebBrowser控件可以承载支持Windows Forms应用程序中的浏览器的网页和其他文档. 例如,您可以使用WebBrowser控件在应用程序中提供基于HTML的集成用户帮助或Web浏览功能. 此外,您还可以使用WebBrowser控件将现有的基于Web的控件添加到Windows Forms客户端应用程序中.

  第二,计时器控制

  通过触发Timer事件,Timer控件可以定期执行代码.

  第三,DataGridView控件

  将数据绑定到DataGridView控件非常简单直观. 在大多数情况下,只需设置DataSource属性即可.

  

  点击按钮拍摄图片

  WebBrowser.Navigate方法将网页导航到集合的起始URL. 应该注意的是,只有在加载WebBrowser控件后才能继续采集操作. 通过Timer控件定期加载WebBrowser控件之后要采集的任务.

  

  获取当前页面标题URL并确定是否已下载

  

  处理需要下载的标题URL,然后WebBrowser导航到指定的URL

  

  获取当前标题图像URL,然后WebBorwser导航到下一个图像URL

  

  下载图片,确定是否按标题拆分,更新Access数据库

  

  DownLoadHelper.cs文件的主要方法是

  下载图片

  

  HtmlParserHelper.cs文件的主要方法

  首先,获取当前图片URL和下一个图片URL

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线