完美:如何在强大的爬虫的爬取下进行逆向工程？

　　完美:如何在强大的爬虫的爬取下进行逆向工程？

　　关键词采集器一些，首页、各个频道页等等会通过机器人发包抓取，所以注意一下网站的友链注意事项，大多数爬虫是不会攻击友链的，起码发的包会人工智能给包过来，网站如果存在一些问题，爬虫是会给包过去的。

　　多进程，多线程。如果是用web爬虫，建议用多线程爬。专业技术人员，可以通过python做采集。

　　在一些需要数据质量的论坛爬虫比较困难

　　用多线程配合模拟浏览器，自己设置线程保存快照，

　　新浪博客、淘宝

　　靠一种定位技术，

　　自己注册一个淘宝账号，搜索一下自己所在网站的关键词就可以用它了！如果你有进军搜索引擎的打算，那就需要多关注竞争对手，

　　python来实现爬虫还是比较难的。毕竟爬虫这个技术门槛比较高。像阿里的搜索和淘宝都有专门的服务器和数据，但是如果你对这些东西并不在乎的话，也可以去看一下的。爬虫的核心技术在于数据库这一块。另外可以考虑如何进行逆向工程，如何在强大的爬虫的爬取下进行逆向工程，这一部分可以参考对搜索引擎爬虫进行逆向工程这一专栏的内容。这个是我目前想到的比较靠谱的一个方法。

　　python爬虫推荐xcharmin推荐他是一个开源的爬虫库.opensource,large-scale,performancebest,cross-platforminfrastructured——monus.