解决方案:web开发如何做好爬虫爬过来的网站服务器

　　解决方案:web开发如何做好爬虫爬过来的网站服务器

　　文章采集调用各种接口如百度等，然后你可以把你的网页发上来。或者你有特殊要求可以自己做个爬虫爬过来。一般人不懂人家的网站背后，有多少技术交流和一堆的攻略文章。最简单的，

　　把爬虫爬到你的网站上面去，然后设置成301跳转到你的网站就好了。

　　把爬虫程序放到你的服务器上，然后爬到的数据如果有需要，会自动去你的服务器里面获取。有一些专门做web开发的公司提供爬虫服务，

　　我好像也搞不定，

　　专门为这个问题也想了好久，

　　1、利用googleapi,soreally

　　2、利用w3ctech/html5databasev1去爬去csv文件

　　3、用nodejs+mysql的xml去抓取

　　4、下载其他爬虫程序,ib数据抓取，抓取。

　　虽然我不懂爬虫但是我的亲戚用爬虫抓的彩票

　　我是一般学自动化的，从业这个有四年了，觉得相关的东西太多了，所以打算把爬虫基础做好，尽量能自己写一个真正做到高并发的爬虫。要弄懂它，思路很重要，如果一开始就想面面俱到估计我们这些不入流的也弄不出好的产品。目前打算学python，我的另一个回答，

　　说下自己。也就是曾经做过1家公司网站，负责流量转化和移动流量。工具就是chrome插件和自己写的爬虫。现在自己写的爬虫就有上千万。然后都是采取相对独立的流量渠道（老板说电视台和门户网站，电视台门户都会贴广告）流量转化了。门户网站广告收入大概1/3吧，但还是非常可观的。而且我在电视台还做过小型featureproject做联网推广(remoteprogramming)，类似facebook每个大使下面都有facebooksubscribe的广告收入。