用正则表达式可以做bt*敏*感*词*搜索，burp框架

　　用正则表达式可以做bt*敏*感*词*搜索，burp框架

　　php抓取网页匹配url,然后根据url请求获取信息。这个问题太宽泛了，不知道你要干嘛。如果是自己做网站，你可以借助一些httppost反向代理的工具。如果是想做一个网页版的搜索引擎，那就要解决你所有问题，需要根据你想要获取的结果做结构化分析和去重。

　　用正则表达式

　　可以去做bt*敏*感*词*搜索，

　　burp吧。

　　maxthon或者其他python框架

　　目前这种爬虫还有一个很有意思的crawler，可以通过cookie实现，也可以用端口扫描器，还可以上传文件传送给爬虫，简直太厉害了，非常高效，针对性强，同时兼顾了抓取和删除，简直完美，而且以后也有拓展性，有兴趣可以参考一下，由西门子张志安设计。

　　queryparser不错

　　给题主推荐一款python爬虫框架，很方便安装和使用pymongo。这里以前端抓取京东上面“有货”为例。1、打开网站，获取项目地址，在本地运行：python34.py--pipinstallpymongo2、导入字典，爬取需要的所有商品信息和电商详情信息，在对应的dom上面生成bookmark和cardiff标签，保存至route里，点击route下的url，拿到京东的地址，路由就可以拿到对应的店铺地址了。

　　实际上，很多抓包平台都对这种类型的页面有开放接口，用来做聚合页面（一个页面内的商品种类最多不超过10种）的抓取，也很好用。