自动采集文章(《sem篇》教你使用xpath来进行文章的抓取)

　　自动采集文章(《sem篇》教你使用xpath来进行文章的抓取)

　　自动采集文章已经是实用比较多的技巧了，但由于现在国内盗版技术很多，所以很多从业者也都去研究国外的技术以及使用方法。但是有时候你可能需要这些方法去分享给更多人知道，所以就有了《sem篇》，这一篇教你使用xpath来进行文章的抓取。

　　我是做内容的，也经常需要大量的内容抓取。经常需要通过原文章的关键词进行文章的统计。对于一些大量内容的有质量的网站，收集原文很占便宜，比如知乎，今日头条等等，他们的用户很多都喜欢看很多内容，这时候他们比较关注原文，抓取他们的原文就能获得不少关注。但是如果网站的精度不够高，只收集原文，而用各种其他的工具代替，可能存在内容不完整或者没有抓取的内容。

　　有些工具会把内容漏出的部分给过滤掉。并且还可能漏出小量的原文内容。但这些漏出的部分，需要我们用自己的技术进行过滤和过滤。不然原文不全的话，内容质量会降低，使之后的收录和排名下降。

　　一个很重要的知识点，文章是通过网站发表出来的，无论怎么抓取，首先你要知道网站的结构是什么样的。通过xpath爬虫原始页面（指定xpath或者通过python爬虫库），在工具包方面选择正则，sqlite等工具。然后通过正则表达式去抓取文章，再通过xpath再反爬虫。比如爬百度系列：百度搜索正则表达式抓取词条页面爬取图片：正则表达式。