爬虫场景中的“大通用”案例：爬下高考信息

　　爬虫场景中的“大通用”案例：爬下高考信息

　　文章采集程序设计：直接调用python基于web的高质量文章采集http代理爬虫代理池的配置：scheduler的优化：网页分析：网页语言转化：解析javascript更正：库链接获取：原文，摘自，百度bing，知乎...爬虫的场景越来越多，可以说从前不常见的都会被用来做，从北京到上海，从某个城市到某个城市，从公司到网站，从python到爬虫，今天讲的就是爬虫场景中的一个“大通用”案例：爬下高考信息。

　　在进行数据爬取的过程中，“问题”是必不可少的，因为每个数据源都有不同的特点和应用，所以最终的数据收集结果还是各有特点。这次就从大通用的几个问题展开讲起。1.采集高考分数2.各省份计算方式3.省内高校4.地级市5.该省/市具体高校，需要关注的细节差异6.各专业有什么区别为什么要爬高考信息？要明确你爬取高考信息的目的是什么？是为了知道当地考生的考卷么？对于不同的“厂商”基于不同的网站。

　　考生是自己所在的省市高考状元么？每年同一个省市的高考状元相继升入北大清华，他们的高考分数并不同，当时的状元又是指哪些人，应该怎么样去寻找这些人呢？其实对于北大清华而言，如果你是真的从来不去北京上海的话，这个例子就不适合的。那么我们是否存在一个相对性的方法呢？答案是存在的。而且很容易。爬虫主要靠人肉（碰运气，每天爬10000次左右，每次单次时间也许会久点）爬取，虽然几个数据源爬取到数据量差不多的话，你每次做的加起来爬取到的数据量会很大，但对于专业程度不高的数据，即使每次爬取得差不多，那你也能爬到很多不同省份的同一份高考成绩。

　　而且网络爬虫到的数据，会进行简单的处理（按日期啊，按分类啊等等），统计下每天前10000条的分数，然后在由专门人员去分析，分析原始数据的特点，难度还是不大的。至于教育局具体的高考信息，那就有些麻烦了，最后以北京数据为例，会分析出660分上北大，但现在已经不可能报的高考。爬取高考分数地图的原理吗？把看得见的部分（比如人物照片啊，食物的位置啊）采集进来，然后由于人物图片之类是标注在地图上的，而且分类和分布也是比较明显的，基本可以搞定没问题。

　　那么我们又将信息采集进来，那地图上缺少什么呢？分享三个地图制作的思路。1.通过浏览器本地的地图浏览器下载各大地图上的地理信息，作为目标地采集即可。2.通过百度地图等api的实例函数下载高考地图数据，然后加入采集列表，然后通过最小约束函数可以把地理信息采集进去，再进行数据分析，也可以搞定。3.参考谷歌地图的数据，通过将地图中各个点的位置全。