pythonweb开发爬虫等关键字应该是不能随便设置的！

　　pythonweb开发爬虫等关键字应该是不能随便设置的！

　　关键字采集文章分析pythonweb开发爬虫等关键字应该是不能随便设置的！另外也不能采集的太频繁，爬虫3天1000篇都没问题，

　　都这么明显了，你以为开个爬虫下载下来自己读读，

　　我一开始以为下载量过5000就没必要限制，但是现在有下载限制，说明限制的可能不是很严格。我是做售楼服务行业的，按理说一年半载就应该去看房的了，可是最近几年住宅市场不好，新房没卖出去，二手房也不太断。下半年去看的人特别少，自己也有点疲惫。我们这房价长期看涨，但实际看房的人越来越少。毕竟，钱也不是大风刮来的。

　　一次两次看房下去很爽，可日复一日，生活都没充实起来，对生活有新的追求就没有*敏*感*词*。以前我下去看一套房，7万8万是挺爽的，但是房子越来越多，就觉得累，房价再涨我没动力了。你这情况有可能是自己太闲了，把房子看好后，投资理财都做起来。有事没事看看房子，不动它。等一套房价涨起来，套现出来后，还要加倍再看一套。这是很大一笔投资。

　　蟹妖，知乎里有大量这样的问题，我自己也花了很多精力和心思去搜索解决方案，看起来不复杂，但是要做到真正解决问题，实际操作中和遇到问题后的解决方案很可能有很大的差异，暂且不谈我的经验怎么样，毕竟我没什么绝活。我能提供的只有这一个思路。

　　1、明确爬虫的定位。爬虫实际上是工业级的程序，要符合工业级的气质，算法不能太复杂，架构也不能太复杂，必须学会设计正则表达式(re)和正则表达式引擎。设计之前搞清楚工作目标，比如打开网页大致能做些什么，通过什么方式能达到目标，怎么达到目标，怎么保证，可以输出什么类型的数据。

　　2、分析搜索条件的现有实现。在爬虫设计完成之前就应该明确，关键词是必须都有的（是不是都做好匹配了？）？目标网站的使用的正则表达式是不是用了re，应该如何用？语言是c还是c++，怎么用？怎么解决多线程问题？怎么解决非线程问题，怎么解决并发问题？（是不是要尽量*敏*感*词*的解决，如果用多线程解决是不是对正则表达式的匹配匹配多线程问题的性能有影响）不能同一个网站重复出现的词是不是要做分析？正则表达式如何匹配查询词之间的间隔？cookie和密码？如果加锁怎么加？使用cookie保存对应的词吗？加密方式有没有漏洞？这些是不是都已经做好了？。

　　3、设计语言实现代码。把语言设计成一门公开的语言，写正则表达式的代码。考虑正则表达式是否有侵入性（如g++），可以不动正则表达式的话，尽量写出不用正则表达式实现的正则表达式。