从网页抓取数据(基于python的爬虫框架requests框架框架的requests框架)

　　从网页抓取数据(基于python的爬虫框架requests框架框架的requests框架)

　　从网页抓取数据，分析数据都是基于python的爬虫框架requests，准备编写一个requests实现第一步。爬虫框架目前还是beautifulsoup.js，因为它对js文件支持的好。抓取列表：首先去百度上搜索出name那个词条的可能出现的出处。然后顺着首页的时间节点，用beautifulsoup去解析，如下：用浏览器直接打开看看。

　　linux系统下用beautifulsoup。android和ios平台下使用beautifulsearch。

　　可以用第三方库selenium，

　　chrome里面有chromedriver库，

　　chrome浏览器的apiguide，里面有每个节点的出处，

　　selenium。详细指南可以从我的博客中找。

　　googleselenium不在javah5api列表中。所以应该是没有，否则就有了。

　　beautifulsoup，爬网页用。

　　用网页模拟点击获取，可以设置时间段，

　　w3c搜索对应页面，然后看html文件。跟java没多大关系，看java可以看html，看html更容易懂。看到那个时间点，

　　selenium和chrome都可以抓取js库用chrome

　　network|page

　　用到libffi就能解决，

　　手头有人会吗？

　　浏览器本身就有一个控制台，和一个apiguide，你可以跟着做一下就知道了。