如何利用beautifulsoup实现知乎文章采集？（附关键词）

　　如何利用beautifulsoup实现知乎文章采集？（附关键词）

　　关键词文章采集功能是利用爬虫软件+分词器实现的。分词器主要用于统计所有文章，在网页中的出现次数。由于是通过爬虫软件采集，自然程序上要安装针对采集网页的浏览器。比如我就安装了chrome，还有firefox等。接下来将以chrome为例子，讲解如何利用beautifulsoup实现知乎文章采集。可运行代码：打开浏览器，执行pythonbeautifulsoup(“”)函数，即可打开网页获取想要的数据。

　　如下图：如果要想获取本地网页的数据，直接运行pythonselenium就行了，详细方法在我的博客上有写到：csdn博客下载更方便-程序猿之间的交流环境准备好之后，准备注册一个google账号，然后就可以开始我们的爬虫之旅了。1.如何登录谷歌？需要说明的是，在浏览器的地址栏中输入chrome，并不是google的，而是baiduspider，大概的意思就是，把我们想要看的网页全部爬取下来保存下来。

　　大部分其他浏览器的地址栏都有这样的地址栏，我以谷歌浏览器为例说明。1.1安装好a.如果没有安装adblock，将这行代码添加进去。b.如果浏览器地址栏没有插件，在浏览器的最上方的搜索框中输入google。1.2配置googleanalytics1.在下面的文章内输入地址:/，然后框中会显示出每一篇文章的题目，他就是根据文章的题目来判断文章是否是我们想要的，当然在我们成功选取想要的文章之后，也要点一下左上角的加号将“all”打钩。

<p>上图中的确定和确定是不一样的，一个是要敲击确定键，一个是要按右上角的输入框按钮。2.我们新建一个txt文档，内容如下:{"pagespan":10,"summary_pages":1,"text":"的","user_agent":"mozilla/5.0(windowsnt6.1;win64;x64)applewebkit/537.36(khtml,likegecko)chrome/67.0.3212.201safari/537.36","cookie":{"username":"","password":"xiake'xiake"}}将该文档的命名改为baiduspider的标题，然后将里面的内容修改为:{"pagespan":5,"summary_pages":1,"text":"的","user_agent":"mozilla/5.0(windowsnt6.1;win64;x64)applewebkit/537.36(khtml,likegecko)chrome/66.0.3650.148safari/537.36","cookie":{"username":"","password":"xiake'xiake"}}。3.在搜索框中输入关键词: