文章自动采集软件开发的一些基本资料-东方头条有模板参考

　　文章自动采集软件开发的一些基本资料-东方头条有模板参考

　　文章自动采集软件开发的一些基本资料

　　1）_图文_百度文库已经有不少人制作了教程软件，

　　2）_资源中心_东方头条有模板参考。

　　2015.1.22日.上午通过某软件自动采集到微信订阅号中的所有文章，与知乎网的其他搜索引擎类似，

　　1、爬虫类：包括抓取群昵称、群名称、群简介等基本信息(非基本信息)，提取页面全部文章链接、文章封面图片、文章标题(重点分析一下「封面图片」这个选项)、文章时间(反正我现在不确定是否还记得起来什么是文章标题了..)(为了以后能爬取到info页面，

　　2、数据采集类：随意点开一篇微信文章看一下，由于文章列表页面放着所有文章的连接，因此我决定采用爬虫类。以爬取文章首页及文章主题为基础，分别通过对列表页进行采集(群昵称)、文章首页内容爬取(每一篇文章都会查看一下历史文章列表)、列表页增加阅读量（文章标题、id）为方法，来实现文章采集的功能。下面是采集图：后续处理与反爬虫问题的策略是：(a)：关注文章链接我第一次写爬虫代码时也考虑过反爬虫、正则表达式、解析表单数据等方案，在综合考虑后基本按照“大量的群昵称、群名称、标题等基本信息"抓取"，更多的则是考虑到封面图片的话，直接采用正则表达式即可，比较简单，同时对方采集内容只有一句话(非定语为主)，也不需要用反爬虫之类的方案。

　　(b)：关注文章标题一是由于文章采集数量较多(一百多篇)，而标题我自己总结为易反爬鱼，需重点关注。二是文章标题本身为全文扫描(这点往往出现在新闻列表中..)，往往会出现漏网之鱼，因此根据标题爬取获取的信息往往会不全面。最终考虑到已经爬取到的所有文章标题，对其进行考量，在经过修改后改用正则表达式来搜集。

　　关于该方案的具体实施细节：(a)：爬取各个群昵称及群名称后，通过正则表达式匹配出所有群昵称、群名称，正则表达式的写法参考：-encoding-error-page-return.html(b)：正则表达式替换上述方案涉及到正则表达式替换，不清楚写正则表达式需要注意什么，简单查了下，我建议将正则表达式写入word或其他可编辑的文档中，以备以后复用。

　　(c)：正则表达式匹配出所有标题可执行以下代码：[]即对以上所有标题抓取，只需要在文章主题之后添加即可(即一个以@@@。