网站程序自带的采集器采集文章(网站程序自带的采集器采集文章功能不是很好用)

　　网站程序自带的采集器采集文章(网站程序自带的采集器采集文章功能不是很好用)

　　网站程序自带的采集器采集文章功能不是很好用，它需要你用专业的采集器模块来采集高级的内容。本文介绍的采集器：采集公众号的文章，包括头条号、百家号、大鱼号、企鹅号、网易号，还可以采集一些图片、视频等不过比较好用的采集器，实际有很多实用的方法供你选择。使用python来做数据爬虫本地安装python3爬虫编程必须在windows系统下才能开始采集数据，并且只能用xampp作为服务器和python的客户端。

　　配置python3客户端，例如用python3直接调用fiddler工具，调整header里的user-agent信息。atecshooter.py的user-agent采用user_agent-scheme:tcp，user-agent的含义：浏览器用于访问服务器的默认端口是8081，也就是浏览器在请求服务器时，根据服务器返回的内容决定跳转到哪一个页面。

　　这里设置浏览器默认user-agent为：googlebot-browser,我自己重新做了一个记事本，在名字后面加上了"#"，方便记忆。基本的入口网站有哪些这里推荐我自己平时使用的四个网站，公众号图文频道，大鱼号，网易频道和百家号，这四个网站相比百家和头条，可能数据量更大，但这些是有很多关联的公众号，但数据爬取的话，这些有哪些，还是挺难定位的。直接从网站上复制数据源链接到本地粘贴，打开python直接用浏览器打开就行了。