c爬虫抓取网页数据(c爬虫抓取网页数据的方法有很多种，基于javascript加载网页获取数据)

　　c爬虫抓取网页数据(c爬虫抓取网页数据的方法有很多种，基于javascript加载网页获取数据)

　　c爬虫抓取网页数据的方法有很多种，最常见的是selenium。我曾经给朋友发过三种selenium抓取网页数据的方法。分别是：第一种：利用webdriver自动抓取cookies获取数据第二种：基于javascript加载网页获取数据第三种：javascript抓取并存入文件获取数据当我是一名程序员，我爬虫基本都是利用前两种，但如果只是想爬取网页的基本数据，可以使用cookies来抓取。

　　cookies类似一个临时地址。利用cookies可以直接自动获取网页上内容。python爬虫总结——cookies自动抓取这里贴一些爬虫基本示例，爬取电影id、标题、评分，以及每一场演唱会的演唱视频数据，以下所示cookies是一个加密数据，需要设置对应user-agent作为浏览器才能获取。

　　selenium是我爬虫的第一个工具，相比于selenium自己写程序自动爬取，它有好几个基础驱动模块，首先的是seleniumie驱动，后面有phantomjs,maplejs,webdriver等等，但还是不能满足需求，seleniumie驱动的问题是使用起来比较困难，不利于新手，我是先用maplejs,又加了一个mindnode驱动,之后maplejs中标有三种cookie，weibo,facebook,whisperer来封装cookie,对比其他cookie的缺点来到facebook来进行封装，最后用webdriver驱动封装了一下html5的标签，来实现代码组合。

　　这样我的代码变的比较优雅，避免了继承的使用的麻烦，而且爬取的数据是以网页元素为单位获取的，无需嵌套其他网页。有问题可以在群里讨论。