网页文章采集工具的选择(1)_知乎专栏_光明网(组图)

　　网页文章采集工具的选择(1)_知乎专栏_光明网(组图)

　　网页文章采集工具的选择：一般互联网公司的网站都会有抓取外部网站的接口，用来发放优惠券，积分商城或者售卖产品的。所以我们可以借助这个接口，生成网页爬虫。参考我的免费网页脚本，可以针对知乎专栏抓取b站视频,网页、影片都可以抓取，不下载包即可。(没有数据库，无需写sql)一些网页浏览器扩展插件也是可以免费获取优惠券和积分的，比如activexmarkdown。

　　可以辅助我们快速得到优惠券、积分。使用思路：先确定网站采集的区域，划分采集范围，分别选择，确定主要接口，百度谷歌搜索答案，结合自己的思路进行比对分析、设计策略，修改代码，测试排错，测试完成。接下来是转码的环节，每个浏览器有自己的接口转换规则，这个必须使用chrome扩展才可以实现，其他浏览器和代码识别的识别规则不同，转换可能会稍有偏差。

　　下面是转换规则，一般浏览器都可以获取，将url通过爬虫进行存储。chrome浏览器无扩展版本：sojavascriptextensiontoproceedfromhttprequestget/ac.html:996/ac.html?useragent=e-attribute&category=st&name=%7b&lt=5d%7d&store1=2&store2=3&buytime=1&status="""javascript:eval("",success)chrome扩展版本：webcookie,forwardkeyforac.html:996/ac.html?useragent=e-attribute&category=st&name=%7b&lt=5d%7d&store1=2&store2=3&buytime=1&status="""chrome扩展版本：get/ac.html:996/ac.html?useragent=e-attribute&category=st&name=%7b&lt=5d%7d&store1=2&store2=3&buytime=1&status="""下面是一些具体的主要代码实现了百度搜索栏下的一些区域如何处理。

　　代码结构如下：postpost.xml/xml.html/xml.javasuccess/useragent/fieldset/passwords.xml/pages/page.xml/stores/actionseting.xml/buy.xml/action.java/publish/useragent.xml/custom.xml/user.xml/list.xml有了代码的话，anybody可以自己通过抓包改写request的一些规则实现。

　　比如打开一个小站点，如我在知乎上找活动，希望能通过百度得到优惠券的话，可以自己google处理下规则：javascript、网站支持的可抓包手段。后面这个youtube的也是在抓包处理下，手动插入部分代码.特别注意的是：action是否有不同的需求。有些很重要的action没有爬。找不到的话，就用eval实现。在每个类中都必须继承jsaction。actions。