selenium+selenium3采集链家网发布数百万条自动采集文章

　　selenium+selenium3采集链家网发布数百万条自动采集文章

　　自动采集文章已经存在多年，还记得那时候从58同城免费加入python爬虫编程时，每天都能看到它几十万的采集量在增长，也让我对python爬虫技术有了些许记忆。今天我们利用selenium+selenium3采集链家网每天发布的数百万条租房信息。

　　一、打开打开浏览器，输入：，这一步可以省略。然后打开链家官网，进入相应的页面。点击页面上任意一个房源，然后按tab键。返回app端，在对应的页面点击返回键：通过selenium技术操作，快速返回访问时选中的页面元素。

　　二、首先输入“大成”，让我们打开“大成房屋”页面，打开app，点击返回键：选择“电话号码”、“到达密码”、“密码找回”、“房屋详情”、“关联链接”，输入完毕，

　　三、选择“其他”，点击“自动访问”，如图：在软件的顶部有一个“新建页面”的按钮，点击进入创建页面。通过上面的步骤可以了解到每天会爬取多少条信息，以及需要哪些自动化工具。打开浏览器，打开链家网页面，输入“大成”，可以看到我们点击自动采集，可以开始采集数据。

　　四、上传文件文件大小限制在8m左右，文件类型中文文件默认采集方式为“datafile”，在浏览器上传文件时请把headers的user-agent设置为“applewebkit/537.36.0(khtml,likegecko)chrome/47.0.2790.115safari/537.36.0”，这个参数会影响采集信息的前提质量。点击上传文件按钮可以上传pdf、json、xml、csv等文件，自己觉得比较好的采集方式即可。

　　五、自动截图这里采用的截图方式为“分割截图”，输入需要截图的“大成”房源页面id、文件名、截图尺寸大小等，在浏览器上点击“分割截图”按钮。选择截图尺寸大小不能超过5m，截图不允许被浏览器压缩，并且无法保存在手机端。有两个截图元素可供选择：一个为我们所需要的截图界面，另一个为需要截图的房源id，上传后单击“保存”按钮保存图片。保存图片时，会弹出小窗口，点击“放大”按钮。在浏览器下查看截图对象：。

　　六、自动验证码识别可以通过手机号、验证码、验证码来获取验证码，使用adblockplus插件或者有如新版javascript防火墙插件。使用qq或者360浏览器都可以采集验证码。

　　以上只是利用python采集链家网这部分的代码，

　　0），下一篇《python爬虫项目全分析》将分享python的采集系统。