等会儿吃什么？程序猿表示给你扔一大堆数据

　　等会儿吃什么？程序猿表示给你扔一大堆数据

　　在这个页面我们可以看到有很多分类 ，我们今天主要抓取的是分类里面的美食这一项。然后我们可以看到在美食这个分类下面还有很多的小分类，我们今天为了讲解，就不一一的去处理这些小分类，而是通过点击美食来到这个页面。

　　如果要获取所有的分类链接可以用一下requests和Beautifulsoup来解析我们需要的链接，如下图：

　　二、获取商户的id，拼接url：

　　当我们在点击小的分类之后我们可以看每个商户的展示页面，在这个页面我们需要做的就是通过获取每个商户的链接来进入商户的详情页面获取到更多的数据。

　　经过查看源代码我们发现在源代码里面并没有链接到商户url：

　　但经过仔细观察发现在网页源代码里面包含很多id：

　　在每一分类链接里面获取每一个商户的详情页的id列表，测试之后发现这就是所有商户的详情页的id，于是我们可以直接匹配到所有id的列表 然后对原始的url进行一个拼接，来得到每个商户详情页的url，如下面的代码：

　　三、解析网页，获取需要的数据

　　在来到商户的详情页之后，我们就能看到很多我们需要获取的数据了，还是一样先查看网页源代码来观察网页是动态加载还是静态的。

　　

　　查看之后我们通过网页源代码能够看到这个页面是静态的，所以我们就能够使用bs4来直接解析出来我们需要的数据，解析代码如下图:

　　最后附上运行结果：

　　Python在工作以及生活中的运用非常广阔，如果你能把它熟练应用，就完全可以告别原始的搜索资料方法，敲上几个代码，你想要的，通通给你打包好了。

　　当然，如果你还是没看懂但又对Python非常感兴趣，又或者你就是一位Python从业者，现在可以参与一期Python免费课程活动，去GET这一些”神”技能！这么好的福利，你确定不收了这波？

　　具体报名方式如下↓↓

　　简介 | Python免费直播分享课

　　调性：我们只想做一场有深度的技术交流分享

　　提示：此课程以干货分享为主，每节课时长约2.5小时，因QQ群人数限制，请确认自己的需求后再进群（是否带着Python方面的问题来探讨），把机会留给更需要的同学！^_^

　　报名方式：扫一扫二维码或加群号（653234360）

　　（长按保存图片 → 打开手Q，扫一扫 → 从相册选取二维码 ，即可！）

　　开放进群时间：2017年7月7日-7月8日 晚上18:00-22:30

　　

　　若你想深度了解Python技术实战，请记住上课的时间表☞

　　↓↓Python免费直播课课程表↓↓

　　课程内容：Python打造整站爬虫并实时保存数据库

　　直播讲师：强子老师

　　适合对象：适合零基础/Python初级开发工程师

　　时间：7月7日 星期五 20:00-22:30

　　课程内容：Python开发小说网站（Djanggo 精讲，模板，ORM）

　　直播讲师：强子老师

　　适合对象：适合零基础/Python初级开发工程师

　　时间：7月8日 星期六 20:00-22:30

　　师资介绍

　　【特邀讲师 · 强子老师】

　　十年软件开发运维经验，在桌面软件、web项目、服务器开发方面都有很高地成就，精通Python、JAVA、JavaScript、SQL等开发技术，开源技术爱好者，讲课风格精细严谨。

　　今晚开始上课，不要忘记哦！