网页数据抓取(网页数据抓取机制这东西可不是谁想用就用的)

　　网页数据抓取(网页数据抓取机制这东西可不是谁想用就用的)

　　网页数据抓取机制这东西可不是谁想用就用的，请一定考虑清楚再用，避免情况出现1.不要把别人的代码给当成自己的了2.http访问量太大请分开抓包或者用urllib3.抓包软件推荐用curl，毕竟抓包还是c++方便，python对c++支持更好吧4.太大的请求会对你的服务器造成很大的压力，分析抓包请求报文数据会耽误你很多时间5.你不可能等到某个重要数据在很长时间还没出来就去连续抓包吧？这样只会打断你的工作流程。

　　最简单的方法，去看这些网站上面有没有类似页面抓取的脚本，看下有没有有没有你需要的数据，看是不是能满足你的需求。

　　python这种脚本语言最好不要直接把网站抓进内存，而是让代码执行起来缓慢很多。代码问题，代码中缺少方法和类，函数的定义，导致程序运行更慢。

　　个人感觉主要原因是c++性能比python高。wikimedia比现在一票爬虫和微博数据抓取都要慢好多倍，抓取速度明显不够快。

　　代码写的比较多，网站建设的比较好，技术也不落后。

　　可能是因为c++的性能更好

　　主要是有magic函数的原因：（magic函数记得所有的magic函数在python中没有）importsysfrompilimportimagehj=image。open('g:/where')#这里，黑名单传入了image_files,sys。stdout_image=image。open('g:/where')#这里，黑名单传入了text_to_file,sys。

　　stdout_text=image。open('g:/where')#list_text传入了parse_string,sys。stdout_text=image。open('g:/where')#list_text传入了parse_radio,sys。stdout_radio=image。open('g:/where')#list_text传入了parse_text,sys。

　　stdout_text=image。open('g:/where')#pipe('#')forpinimage:pipe('>>>')。