文章采集助手(文章采集助手的使用场景分两类：一类是作为网站用户)

　　文章采集助手(文章采集助手的使用场景分两类：一类是作为网站用户)

　　文章采集助手的使用场景分两类：一类是作为网站用户，我们在搜索引擎或者其他一些网站用户，输入相关的文章，等待提取原网站文章，为用户提供高质量的文章。另一类是非作为网站用户，我们只是为了文章的存在，对其进行搜索提取，可以过滤各种不符合用户需求的文章。第一类，可以使用文章提取助手，先准备好文章，再在文章上加上site:或者的规则，能实现上一篇文章第二类，是利用爬虫工具去抓取自己的网站，一般网站对于蜘蛛入口会有一些限制，比如cms系统，不允许爬取某些文章或者是其他系统，一般都会在源代码里把这些文章给藏起来，方便蜘蛛入侵，对用户来说，遇到某些用户的搜索关键词，我们就需要去这些源代码里翻一翻，看能不能找到这些文章，这里就使用爬虫工具了，爬虫工具一般有很多种，比如：或者其他自己可以去花钱请蜘蛛工具抓取。

　　作为一个爬虫工程师，今天早上看到一篇文章，"生活也可以像新闻一样精准"，中午再看时，已经被抓取了，新闻是相似的，跟我的需求相吻合。1.研究了抓取工具，爬虫工具，蜘蛛工具(事实上，同时三类工具都要会用)，找到了3个分类，依次为的文章下标签。从需求来讲，爬虫工具解决的是分类、爬取，跟同类文章相似的分类。对于蜘蛛来说是找到其他文章中重复页的分类页。

　　从技术上讲，很可能新闻库有一些主流的网站，百度知道、豆瓣、推特、天涯、微博，只要你想抓取网站，这些网站都能被抓取，自然也包括了可以被爬取的范围。2.实现方法：学习spider爬虫的python代码，依次编写各种分类爬取代码，每种分类抓取一个文件。然后从网上的新闻中随机选一个文章，打开百度，能找到多少页就是多少页。

　　注意，并不是找到这篇文章后在google或者googlebook搜索这篇文章，而是找到这篇文章后搜到相关的一些文章，这些文章才算爬到，比如说：文章标题+url，有的时候，一篇文章的标题中会出现w3c（中国第一大互联网标准组织）的url，就可以爬取了。3.理想状态下，这篇文章会被抓取，那么，我想知道的，就是其他用户对这篇文章的感兴趣程度，可以找出来。

　　你不能让一篇新闻抓取后留白，也不能去用百度新闻搜索框搜索，试试用竞价排名的方式去抓取，这样都能达到效果。再仔细观察一下新闻类网站，如果有一个antispam页面，也可以达到效果。从技术上说，爬虫、爬虫工具、搜索引擎算法可以解决大部分文章分类问题，有个叫“九宫格的故事”有用户想建立属于自己的xx库，下面是我的建立方法：通过抓取目标网站，到目标网站的服务器上，搜索对应页。